推理与服务
共 35 个仓库 · 近 4 个月有推送 · C++
用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。
OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。
基于新一代 Kaldi 和 onnxruntime 的离线语音工具包，一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD，可跑在嵌入式、手机和服务器上。
超低延迟的语音转文字、意图识别和语音合成工具，用来搭建语音助手和语音交互界面，响应快、适合实时对话场景。
Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。
Facebook AI 开源的端到端语音识别训练工具包，用 C++ 实现，可基于 wav2letter 架构训练声学模型，省去传统 ASR 繁琐的特征工程流程。
面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。
在本地 GPU 和 NPU 上直接跑优化后的大模型，帮用户发现并启动本地 AI 应用，省去自己折腾推理环境的麻烦。
支持 Markdown 的纯文本记事本和待办管理工具，可与 Nextcloud/ownCloud 同步笔记，数据本地优先存储。
面向 LLM 应用的 AI 原生数据库，把稠密向量、稀疏向量、多向量张量和全文检索融合在一起做混合搜索，速度极快。
面向 Transformer 模型的高性能推理引擎，用 C++ 实现并支持 CUDA、AVX、NEON 等硬件加速，让机器翻译等模型在 CPU/GPU 上跑得更快、显存占用更低。
纯 C++ 音频推理引擎，基于 ggml 实现，一套代码覆盖语音合成、识别、VAD、变声和音乐生成，不依赖 Python，适合边缘部署。
把 ESP8266/ESP32 变成 MQTT 网关，双向桥接 433/315/868MHz 射频、红外、BLE 蓝牙和 LoRa 设备，让米家传感器、温湿度计、体重秤等接入 Home Assistant。
把家里的多台设备连成集群来跑 LLM 推理，设备越多推理越快，用 C++ 实现分布式加速。
面向文本嵌入、重排、CLIP、CLAP 和 ColPali 模型的高吞吐低延迟推理服务引擎，适合把向量化和重排模型部署成线上 API。
微软推出的本地 AI 推理运行时，基于 ONNX Runtime 在设备端跑聊天补全和语音转文字模型，支持 GPU 加速，不用联网也能用。
面向 Apple Silicon 的本地大模型推理引擎，围绕模型本身做优化，让 Mac 上跑编码智能体和 LLM 推理更快更省资源。
专为 AMD Ryzen AI NPU 深度优化的本地大模型推理引擎，几分钟内就能在 AMD NPU 上跑起 LLM，省去繁琐配置。
Linux 桌面上的离线语音笔记应用，集语音转文字、文字转语音和机器翻译于一体，无需联网即可完成听写、朗读和翻译。
OBS 直播插件，用本地 Whisper 模型实时做语音识别和字幕，不用把音频传到云端，直播时也能直接出字幕。
在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。
面向 LLM、VLM、DiT 和 REC 模型的高性能推理引擎，针对多种 AI 加速卡做优化，适合在异构硬件上部署大模型服务。
把大模型接入 Lean 4 定理证明流程的推理服务，支持在证明环境中调用模型做前提检索、策略建议和自动补全。
用 C++ 和 CUDA 手写一个高性能 LLM 推理引擎的教学项目，是 vLLM 的精简版，涵盖 PagedAttention 和连续批处理等核心机制。