跨平台机器学习框架，提供可定制的视觉、音频等实时流媒体处理方案，方便在移动端和桌面端搭建低延迟推理管线。

DeepSpeech is an open source embedded (offline, on-device) speech-to-text engine which can run in real time on devices r…

Lightning-Fast, On-Device, Multilingual TTS — running natively via ONNX.

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

面向手机端的高性能神经网络推理框架，针对 ARM 平台深度优化，让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

阿里开源的轻量级端侧推理引擎，主打手机和嵌入式设备上的高性能模型推理，能跑大模型和常规深度学习网络。

跨平台高性能推理与训练加速引擎，可直接加载 ONNX 模型，兼容 PyTorch、TensorFlow 等框架导出，解决模型在不同硬件上高效部署的问题。

MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。

PyTorch 官方的端侧推理框架，把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行，覆盖 CPU、GPU 等多种后端。

端侧唤醒词检测引擎，用深度学习在本地识别自定义唤醒词，无需联网即可实现语音激活。

在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。

面向越南语的本地语音合成工具，支持即时声音克隆，在 CPU 上实时推理并输出 48kHz 音频，适合做越南语 TTS 应用。

轻量级上下文感知语音合成模型，仅2.19亿活跃参数，支持声音克隆和流式输出，纯C实现可在CPU上离线运行，附带完整的实时语音助手方案。

在浏览器里直接跑 llama、deepseek-distill、kokoro 等本地大模型和语音合成，靠 WebGPU 加速，不用装后端也不用上传数据。

macOS 上的本地语音转文字工具，基于端侧 AI 实现听写与转录，数据不出本机，也可按需接入云端。

面向流式和端侧场景优化的 Whisper 语音识别模型，支持 Apple Silicon、CoreML、MLX 和 NVIDIA GPU，可做实时转写与翻译。

把 SAM3 通过渐进式知识蒸馏压缩成轻量边缘模型，实现快速的可提示概念分割与跟踪，适合端侧部署。

面向 iPad 和 iPhone 的开源端侧 AI 智能体工作台，在设备本地跑 Linux、终端、Python/Node.js、Git 和 3D/CAD 编辑，支持自带密钥接入大模型。