端侧部署

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

跨平台机器学习框架，提供可定制的视觉、音频等实时流媒体处理方案，方便在移动端和桌面端搭建低延迟推理管线。

已停维护的离线语音转文字引擎，在嵌入式设备上顶替云端 ASR 调用

ncnn

Tencent·C++

面向手机端的高性能神经网络推理框架，针对 ARM 平台深度优化，让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

阿里开源的轻量级端侧推理引擎，主打手机和嵌入式设备上的高性能模型推理，能跑大模型和常规深度学习网络。

归档的 ONNX 端侧多语言 TTS，用来替掉云端 TTS API 或塞不进移动端的重型模型

executorch

pytorch·Python

PyTorch 官方的端侧推理框架，把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行，覆盖 CPU、GPU 等多种后端。

端侧唤醒词检测引擎，用深度学习在本地识别自定义唤醒词，无需联网即可实现语音激活。

macOS 上的本地语音转文字工具，基于端侧 AI 实现听写与转录，数据不出本机，也可按需接入云端。

vui

fluxions-ai·Python

轻量级上下文感知语音合成模型，仅2.19亿活跃参数，支持声音克隆和流式输出，纯C实现可在CPU上离线运行，附带完整的实时语音助手方案。

floe-agent

JiangNanGenius·Swift

面向 iPad 和 iPhone 的开源端侧 AI 智能体工作台，在设备本地跑 Linux、终端、Python/Node.js、Git 和 3D/CAD 编辑，支持自带密钥接入大模型。