模型工具链

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

跨平台机器学习框架，提供可定制的视觉、音频等实时流媒体处理方案，方便在移动端和桌面端搭建低延迟推理管线。

mlx

ml-explore·C++

面向 Apple silicon 的数组计算框架，让机器学习模型能直接在 Mac 芯片上高效训练和推理，省去折腾 CUDA 的麻烦。

已停维护的离线语音转文字引擎，在嵌入式设备上顶替云端 ASR 调用

Paddle

PaddlePaddle·C++

飞桨核心框架，提供深度学习与机器学习的高性能单机及分布式训练能力，并支持跨平台部署，适合工业级模型开发。

ncnn

Tencent·C++

面向手机端的高性能神经网络推理框架，针对 ARM 平台深度优化，让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。

onnxruntime

microsoft·C++

跨平台高性能推理与训练加速引擎，可直接加载 ONNX 模型，兼容 PyTorch、TensorFlow 等框架导出，解决模型在不同硬件上高效部署的问题。

阿里开源的轻量级端侧推理引擎，主打手机和嵌入式设备上的高性能模型推理，能跑大模型和常规深度学习网络。

NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。

openvino

openvinotoolkit·C++

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。

用 TensorRT 网络定义 API 手写实现 YOLO、ResNet、Swin Transformer 等主流深度学习模型，并附 C++ 推理代码，方便直接部署到 NVIDIA GPU。

用 C++ 写的图像处理与数据并行计算 DSL，把算法和调度分开描述，自动生成适配 CPU、GPU 等硬件的高性能代码。

NVIDIA 官方多 GPU 集合通信库，提供 all-reduce、broadcast 等优化通信原语，是分布式深度学习训练中跨卡数据同步的底层依赖。