推理与服务

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。

已停维护的离线语音转文字引擎，在嵌入式设备上顶替云端 ASR 调用

基于新一代 Kaldi 和 onnxruntime 的离线语音工具包，一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD，可跑在嵌入式、手机和服务器上。

moonshine

moonshine-ai·C++

超低延迟的语音转文字、意图识别和语音合成工具，用来搭建语音助手和语音交互界面，响应快、适合实时对话场景。

面向本地部署的高速大模型推理引擎，通过稀疏激活与量化等技术，让消费级显卡也能流畅跑起 Llama 类模型。

jetson-inference

dusty-nv·C++

面向 NVIDIA Jetson 嵌入式设备的深度学习推理部署指南，用 TensorRT 加速图像识别等视觉任务，配套教程和预训练模型开箱即用。