标签：ROCm
技术标签，共 17 个项目。
Rust 写的张量库和深度学习框架，兼顾灵活性与效率，支持自动微分、跨平台后端和内核融合，可训练和部署神经网络。
把深度学习模型编译到 CPU、GPU 及各类加速器上运行的开源编译器框架，通过统一中间表示和自动调优提升推理性能。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。
统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。
把 OpenAI Whisper 做成近实时的语音转文字服务，支持 TensorRT、OpenVINO、ROCm 等硬件加速，适合直播字幕和听写场景。
基于 MLIR 的可重定向机器学习编译器与运行时工具包，把 PyTorch、TensorFlow、JAX、ONNX 等模型编译到 CPU、CUDA、ROCm、Vulkan 等多种硬件上运行。
在自己的 GPU 上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash、MiniMax-M3.1-Flash 等大模型，统一引擎加可视化面板，兼容 OpenAI 与 Anthropic 接口。
开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。
面向大规模部署的 LLM 推理引擎，支持 CUDA、ROCm、TPU、Inferentia 等多种硬件后端，并提供 LoRA 与投机解码等加速能力。
自托管 Chatterbox 语音合成模型的服务端，带 Web 界面和 OpenAI 兼容 API，支持预置音色、声音克隆和长篇有声书文本处理，可在 NVIDIA、AMD 和 CPU 上加速运行。
在 AMD Strix Halo 上本地跑 Qwen3.8-Flash-Next 和 NPU 小模型，用同一端口同时提供 OpenAI 与 Anthropic 兼容 API，让本地推理像调前沿云服务一样顺手。
用 Rust 写的 RDNA 原生大模型推理引擎，直接跑在 AMD GPU 上，让 RDNA 显卡也能高效做 LLM 推理和量化。
用纯 Go 直接调用 llama.cpp 做本地推理，支持 CUDA、Metal、ROCm 硬件加速，覆盖 Linux、macOS、Windows 和 WebAssembly，方便在 Go 应用里嵌入大模型。
跨平台命令行工具，用同一套测试测 CPU、GPU、NPU 的峰值算力、内存带宽和延迟，覆盖 CUDA、Metal、OpenCL 等主流 API。
在 AMD GPU 上自动调优 LLM 推理负载的智能体系统，通过自动搜索和优化 GPU kernel 提升大模型推理性能。
在单台桌面机器上跑 100GB 级大模型的开源推理引擎，支持 AMD Strix Halo、NVIDIA RTX 和 Apple Mac，兼容 OpenAI API，基于 ExLlamaV3 构建。