训练与微调

开源计算机视觉库，提供图像处理、视频分析和深度学习推理的 C++ 接口，是视觉应用开发的基础设施。

老牌开源 OCR 引擎，用 LSTM 识别图片中的文字，支持上百种语言，适合做文档扫描和文本提取。

跨平台机器学习框架，提供可定制的视觉、音频等实时流媒体处理方案，方便在移动端和桌面端搭建低延迟推理管线。

已停维护的离线语音转文字引擎，在嵌入式设备上顶替云端 ASR 调用

ncnn

Tencent·C++

面向手机端的高性能神经网络推理框架，针对 ARM 平台深度优化，让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。

onnxruntime

microsoft·C++

跨平台高性能推理与训练加速引擎，可直接加载 ONNX 模型，兼容 PyTorch、TensorFlow 等框架导出，解决模型在不同硬件上高效部署的问题。

NVIDIA 官方的高性能深度学习推理 SDK，能把训练好的模型在 NVIDIA GPU 上做极致加速和部署，适合追求低延迟高吞吐的生产推理场景。

开源分布式图数据库，支持水平扩展和高可用，适合存储超大规模图数据并做低延迟查询，可用于知识图谱和 GraphRAG 场景。

openvino

openvinotoolkit·C++

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理，支持视觉、LLM 和生成式模型，省去自己折腾底层加速的麻烦。

jetson-inference

dusty-nv·C++

面向 NVIDIA Jetson 嵌入式设备的深度学习推理部署指南，用 TensorRT 加速图像识别等视觉任务，配套教程和预训练模型开箱即用。

firmware

meshtastic·C++

Meshtastic 官方固件，让 ESP32、nRF52 等低成本 LoRa 开发板组成无需基站的离网 Mesh 通信网络，适合徒步和野外场景。

wav2letter

flashlight·C++

Facebook AI 开源的端到端语音识别训练工具包，用 C++ 实现，可基于 wav2letter 架构训练声学模型，省去传统 ASR 繁琐的特征工程流程。