模型工具链
共 43 个仓库 · C++
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
跨平台机器学习框架，提供可定制的视觉、音频等实时流媒体处理方案，方便在移动端和桌面端搭建低延迟推理管线。
面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。
DeepSpeech is an open source embedded (offline, on-device) speech-to-text engine which can run in real time on devices ranging from a Raspberry Pi 4 to high power GPU servers.
飞桨核心框架，提供深度学习与机器学习的高性能单机及分布式训练能力，并支持跨平台部署，适合工业级模型开发。
面向手机端的高性能神经网络推理框架，针对 ARM 平台深度优化，让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。
跨平台高性能推理与训练加速引擎，可直接加载 ONNX 模型，兼容 PyTorch、TensorFlow 等框架导出，解决模型在不同硬件上高效部署的问题。
阿里开源的轻量级端侧推理引擎，主打手机和嵌入式设备上的高性能模型推理，能跑大模型和常规深度学习网络。
NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。
用 TensorRT 网络定义 API 手写实现 YOLO、ResNet、Swin Transformer 等主流深度学习模型，并附 C++ 推理代码，方便直接部署到 NVIDIA GPU。
用 C++ 写的图像处理与数据并行计算 DSL，把算法和调度分开描述，自动生成适配 CPU、GPU 等硬件的高性能代码。
NVIDIA 官方多 GPU 集合通信库，提供 all-reduce、broadcast 等优化通信原语，是分布式深度学习训练中跨卡数据同步的底层依赖。
华为开源的深度学习训练与推理框架，覆盖移动端、边缘和云场景，主打国产 NPU 生态适配。
一个轻量级 C++ AI 工具包，集成 100+ 模型，支持 MNN、ONNX Runtime 和 TensorRT 推理，覆盖目标检测、分割、Stable Diffusion、人脸融合等任务。
基于 MLIR 的可重定向机器学习编译器与运行时工具包，把 PyTorch、TensorFlow、JAX、ONNX 等模型编译到 CPU、CUDA、ROCm、Vulkan 等多种硬件上运行。
把 ONNX 模型直接转成 TensorRT 引擎的官方解析器，让训练好的模型能在 NVIDIA GPU 上做高性能推理部署。
在自己的 GPU 上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash、MiniMax-M3.1-Flash 等大模型，统一引擎加可视化面板，兼容 OpenAI 与 Anthropic 接口。
Local AI API Platform
用 C++ 写的轻量级 ONNX 推理库，靠流式加载把内存压到极低，能在树莓派 Zero 2 或 298MB 内存里跑 Stable Diffusion XL 1.0，桌面端也能跑 Mistral 7B。
专为 AMD Ryzen AI NPU 深度优化的本地大模型推理引擎，几分钟内就能在 AMD NPU 上跑起 LLM，省去繁琐配置。
一款简单易用、高性能的 AI 部署框架，支持 ONNX Runtime、MNN、昇腾等多种推理后端，用低代码方式把深度学习模型和生成式 AI 应用部署到各类硬件上。
微软 Windows ML 的官方示例与工具集，帮助开发者在 Windows 上加载 ONNX 模型并调用系统内置的机器学习推理能力。
跨平台多媒体处理框架，支持 GPU 加速和异构调度，可把转码、AI 推理、算法模块和直播流处理串成一条流水线。