推理与服务
共 46 个仓库 · C++
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。
DeepSpeech is an open source embedded (offline, on-device) speech-to-text engine which can run in real time on devices ranging from a Raspberry Pi 4 to high power GPU servers.
基于新一代 Kaldi 和 onnxruntime 的离线语音工具包，一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD，可跑在嵌入式、手机和服务器上。
超低延迟的语音转文字、意图识别和语音合成工具，用来搭建语音助手和语音交互界面，响应快、适合实时对话场景。
面向本地部署的高速大模型推理引擎，通过稀疏激活与量化等技术，让消费级显卡也能流畅跑起 Llama 类模型。
面向 NVIDIA Jetson 嵌入式设备的深度学习推理部署指南，用 TensorRT 加速图像识别等视觉任务，配套教程和预训练模型开箱即用。
Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。
Facebook AI 开源的端到端语音识别训练工具包，用 C++ 实现，可基于 wav2letter 架构训练声学模型，省去传统 ASR 繁琐的特征工程流程。
面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。
在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。
支持 Markdown 的纯文本记事本和待办管理工具，可与 Nextcloud/ownCloud 同步笔记，数据本地优先存储。
面向 LLM 应用的 AI 原生数据库，把稠密向量、稀疏向量、多向量张量和全文检索融合在一起做混合搜索，速度极快。
面向 Transformer 模型的高性能推理引擎，用 C++ 实现并支持 CUDA、AVX、NEON 等硬件加速，让机器翻译等模型在 CPU/GPU 上跑得更快、显存占用更低。
纯 C++ 音频推理引擎，基于 ggml 实现，一套代码覆盖语音合成、识别、VAD、变声和音乐生成，不依赖 Python，适合边缘部署。
把 ESP8266/ESP32 变成 MQTT 网关，双向桥接 433/315/868MHz 射频、红外、BLE 蓝牙和 LoRa 设备，让米家传感器、温湿度计、体重秤等接入 Home Assistant。
把家里的多台设备连成集群来跑 LLM 推理，设备越多推理越快，用 C++ 实现分布式加速。
面向文本嵌入、重排、CLIP、CLAP 和 ColPali 模型的高吞吐低延迟推理服务引擎，适合把向量化和重排模型部署成线上 API。
微软推出的本地 AI 推理运行时，基于 ONNX Runtime 在设备端跑聊天补全和语音转文字模型，支持 GPU 加速，不用联网也能用。
面向 Apple Silicon 的本地大模型推理引擎，围绕模型本身做优化，让 Mac 上跑编码智能体和 LLM 推理更快更省资源。
专为 AMD Ryzen AI NPU 深度优化的本地大模型推理引擎，几分钟内就能在 AMD NPU 上跑起 LLM，省去繁琐配置。
基于新一代 Kaldi 和 ncnn 的离线实时语音识别与语音活动检测引擎，无需联网即可在手机、嵌入式板卡和桌面端跑起来。
Linux 桌面上的离线语音笔记应用，集语音转文字、文字转语音和机器翻译于一体，无需联网即可完成听写、朗读和翻译。
OBS 直播插件，用本地 Whisper 模型实时做语音识别和字幕，不用把音频传到云端，直播时也能直接出字幕。