端侧部署

把「本地跑大模型」压缩成一条命令，最适合做原型和日常使用

纯 C/C++ 的本地推理引擎，GGUF + 量化是「在自己电脑上跑模型」的标准答案

把视觉/音频模型塞进手机和浏览器的端侧推理流水线，顶替自己拼 OpenCV + TFLite 的那层胶水

已停维护的离线语音转文字引擎，在嵌入式设备上顶替云端 ASR 调用

不依赖 BLAS 的纯 C++ 推理运行时，用来把训练好的模型塞进 Android/iOS/嵌入式设备里跑

把 LLM 编译成目标硬件原生代码的推理引擎，顶替 llama.cpp 在移动端和浏览器里的位置

在手机和嵌入式设备上跑视觉模型与端侧 LLM 的 C++ 推理引擎，替代 TensorFlow Lite 或 ONNX Runtime 的移动端路径

归档的 ONNX 端侧多语言 TTS，用来替掉云端 TTS API 或塞不进移动端的重型模型

PyTorch 官方的端侧推理栈，把 torch.export 的图编译成 .pte，替换掉各厂商私有的移动端推理格式

把唤醒词检测从云端挪到端侧，替代「录音上传+服务端识别」这条链路

Local speech-to-text for macOS on-device AI, fully private, optional cloud

Vui Nano — a small, context-aware text-to-speech model trained on real conversations. 219M active params (305M total), Apache 2.0, voice cloning, streaming, runs on CPU (dependency-free C build). Ships with a full real-time voice assistant: WebRTC, ASR, local LLM, OpenAI Realtime API compatible.

iPad-first, open-source iOS AI Agent with native on-device 3D/CAD editing, iPhone support and Android alpha. On-device Linux, terminal, Python/Node.js, Git and web previews; BYOK AI, Notes, Office, Canvas, voice, Skill Hub and supported local models on iOS. 开源设备端 AI 智能体工作台。