推理与服务
共 11 个仓库 · C
用纯 C99 从零实现的 Kimi K3 推理引擎，单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型，不依赖 BLAS、框架或 GPU。
多语种语音理解模型，一次推理就能完成中英日韩粤语音识别、语种判别、情绪识别和音频事件检测，适合做语音交互与音频分析。
轻量级离线语音识别引擎，用 C 写成、体积小、资源占用低，适合在嵌入式设备和移动端做实时语音转文字。
自托管的本地语音助手，对标 Amazon Echo 和 Google Home，用 ESP32 硬件加语音识别在本地完成唤醒与语音转文字，数据不出户，适合注重隐私的智能家居场景。
在 256MB 内存的十美元级开发板上跑 10 亿参数大模型，靠量化与 C 实现把 LLM 推理压进嵌入式设备。
在 iOS 和 macOS 上离线运行 LLaMA、GPT-2、RWKV 等大语言模型的 Swift 应用，基于 GGML 库，无需联网即可本地推理。
本地运行的代码语义搜索与调用图工具，让 AI 编程助手在不上传代码的前提下理解仓库结构、定位相关代码。
开源的大词汇量连续语音识别引擎，用 C 语言实现，可直接在本地完成语音转文字，适合搭建离线识别服务。
Fun-ASR 是支持 31 种语言和中文方言的语音识别模型，提供 Nano 轻量版，并支持 Transformers、FunASR、vLLM、llama.cpp 多种部署方式，可端侧运行。
基于 PyTorch 微调 Whisper 语音识别模型，支持有无时间戳、无语音数据训练，并用 CTranslate2 加速推理，可部署到 Web、Windows 和安卓。
纯 C99 实现的轻量级 ONNX 推理引擎，专为嵌入式设备设计，支持硬件加速，让单片机也能跑深度学习模型。