硬件加速适配

mlx

ml-explore·C++

面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。

burn

tracel-ai·Rust

Rust 写的张量库和深度学习框架，兼顾灵活性与效率，支持自动微分、跨平台后端和内核融合，可训练和部署神经网络。

rio

raphamorim·Rust

用 Rust 写的 GPU 加速终端模拟器，基于 Metal/Vulkan 渲染，桌面和浏览器里都能跑，适合追求流畅终端体验的开发者。

在 Apple Silicon 上通过 MLX 框架运行大语言模型，支持加载、推理和微调，让 Mac 本地跑 LLM 更省心。

WhisperLive

collabora·Python

把 OpenAI Whisper 做成近实时的语音转文字服务，支持 TensorRT、OpenVINO、ROCm 等硬件加速，适合直播字幕和听写场景。

vllm-metal

vllm-project·Python

让 vLLM 在 Apple Silicon 的 Mac 上跑起来，通过 Metal 和 MLX 后端把大模型推理搬到本地苹果芯片，省去 GPU 服务器。

面向 Tenstorrent 加速卡的 TT-NN 算子库和 TT-Metalium 底层内核编程模型，让大模型和图像生成模型能在非 GPU 硬件上高效推理。

自托管 Chatterbox 语音合成模型的服务端，带 Web 界面和 OpenAI 兼容 API，支持预置音色、声音克隆和长篇有声书文本处理，可在 NVIDIA、AMD 和 CPU 上加速运行。

基于节点的创意编程工具，用可视化连线搭建 3D 图形、图像处理和计算机视觉流程，灵感来自 Quartz Composer，适合实时渲染与多媒体实验。

跨平台多媒体开发套件，提供 Dolby Vision、HDR、D3D12、Metal 等硬件加速解码与播放能力，方便在各类设备上集成高质量视频处理。

在 Apple Silicon 上做 W8A8/W4A8 量化推理，调用 M5 闲置的 INT8 TensorOps 让 LLM prefill 快 1.2–1.9 倍，并用类 FlashInfer 的 GQA 解码注意力加速 SDPA。