跨平台机器学习框架，提供可定制的视觉、音频等实时流媒体处理方案，方便在移动端和桌面端搭建低延迟推理管线。

面向视频分析与端侧 VLM 的 C++ 边缘推理引擎，支持算能、瑞芯微 RKNN 和 x86 平台，自带可视化编排、实时 OSD、事件与可复现基准。

用 C/C++ 实现的大模型推理引擎，能在普通 CPU 和消费级显卡上跑 LLaMA 等模型，支持量化以降低显存占用。

阿里开源的轻量级端侧推理引擎，主打手机和嵌入式设备上的高性能模型推理，能跑大模型和常规深度学习网络。

PyTorch 官方的端侧推理框架，把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行，覆盖 CPU、GPU 等多种后端。

DeepSpeech is an open source embedded (offline, on-device) speech-to-text engine which can run in real time on devices r…

端侧唤醒词检测引擎，用深度学习在本地识别自定义唤醒词，无需联网即可实现语音激活。

Lightning-Fast, On-Device, Multilingual TTS — running natively via ONNX.

面向 Apple Silicon 的端侧语音 AI 工具包，用 Swift 在 iOS 和 macOS 上本地跑语音识别、说话人分离和语音合成，不用联网也能处理音频。

面向手机端的高性能神经网络推理框架，针对 ARM 平台深度优化，让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。

面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。

一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK，覆盖 Android、iOS、Flutter，省去自己搭推理链路的麻烦。

让 Flutter 应用在手机、桌面和 Web 上直接跑 Gemma 等大模型，支持多模态、函数调用、向量嵌入、RAG 和语音，不用依赖云端。

在 Android 手机上本地跑 NLLB 模型的实时翻译 App，支持蓝牙耳机对话翻译，全程离线不联网也能用。

通用大模型部署引擎，借助机器学习编译技术把 LLM 高效跑在各种硬件上，从手机到服务器都能用。

跑在 Android 手机本地的 AI 智能体，借助无障碍服务直接操作 App 和网页，帮你自动完成点按、填表等任务。

无需分词器的多语言语音合成模型，支持创意音色设计和逼真声音克隆，可直接从文本生成自然语音。

Android 上能力最强的 AI Agent 与聊天软件，支持本地 llama/MNN 模型和终端操作，让手机直接跑智能体任务。

MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。

本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。

离线语音识别 API，支持 Android、iOS、树莓派和服务器，提供 Python、Java、C#、Node 多语言绑定，适合注重隐私、不依赖云端的语音转文字场景。

超轻量级中文 OCR 工具，总模型仅 4.7M，支持竖排文字识别，可在 ncnn、MNN、TNN 等推理后端运行，适合端侧和低资源场景部署。

基于 PyTorch 的目标检测全家桶，覆盖训练、推理、实例分割、图像分类和模型导出，开箱即用，适合快速落地视觉任务。

用 Python 快速搭建 MCP 服务器和客户端的框架，让大模型和 Agent 能方便地接入外部工具与数据源。

一款用 Go 编写的高性能反向代理，能把 NAT 或防火墙后面的本地服务安全暴露到公网，常用于内网穿透和远程访问。

开源免费的 HTTP(S) 抓包工具，支持 Windows、macOS、Linux、Android、iOS 等全平台，可替代 Charles、Fiddler 做流量分析与调试。

基于 MCP 协议、跑在 ESP32 上的聊天机器人固件，让单片机也能接入大模型对话与工具调用。

OpenAI Whisper 语音识别模型的 C/C++ 移植版，无需 Python 和 GPU 依赖，在普通 CPU 上就能跑语音转文字。

开源手机智能体模型与框架，让 AI 直接操作手机界面完成点按、输入等任务，把「AI 手机」能力开放给所有人。

跨平台高性能推理与训练加速引擎，可直接加载 ONNX 模型，兼容 PyTorch、TensorFlow 等框架导出，解决模型在不同硬件上高效部署的问题。

开源 VPN 客户端，帮你在网络受限环境下绕过审查、保护隐私并提升访问速度，覆盖 Android、iOS、Windows、macOS 和 Linux。

开源 VPN 守护进程，用 C 实现，支持 SSL/TLS 加密隧道，可自建安全远程访问与站点互联网络。

去重备份归档工具，支持压缩和认证加密，可通过 SSH 远程备份，适合需要高效增量备份和隐私保护的数据场景。

跨平台可编程网络工具，支持代理转发、流量加密与 MITM 分析，可用于搭建 VPN 客户端和网络监控。

Sunshine 的分支版本，主打用客户端设备的原生分辨率串流游戏和桌面，省去手动调分辨率的麻烦。

几分钟内用脚本搭好自己的 IPsec VPN 服务器，支持 IPsec/L2TP、Cisco IPsec 和 IKEv2，覆盖主流 Linux 发行版和树莓派，附带客户端配置与管理脚本。

超低延迟的语音转文字、意图识别和语音合成工具，用来搭建语音助手和语音交互界面，响应快、适合实时对话场景。

高性能无锚框 YOLO 目标检测器，精度超过 YOLOv3~v5，支持 MegEngine、ONNX、TensorRT、ncnn 和 OpenVINO 多后端部署。

RustDesk 远程桌面的自托管服务端，自己搭中继和信令服务器就能摆脱官方公共节点，实现设备直连与远程控制。