标签：端侧 / 边缘

面向云端和数据中心的高性能推理服务端，支持多种深度学习框架模型部署，并可在边缘设备上运行。

runanywhere-sdks

RunanywhereAI·C++

一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK，覆盖 Android、iOS、Flutter，省去自己搭推理链路的麻烦。

面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。

用 Go 编写的物联网平台框架，提供设备接入、边缘网关与云端管理能力，支持 CoAP、LoRa 等协议，适合搭建分布式 IoT 系统。

把 OpenVINO 优化过的模型部署成可扩展推理服务的服务器，支持云端和边缘、Kubernetes 与 DAG 流水线，方便生产环境上线模型。

几分钟内就能在本地或远程部署任意 AI 模型、智能体、数据库、RAG 和流水线，省去繁琐的环境配置和运维工作。

高质量、可靠的 TTS/STT 库，在服务端和浏览器里都能用，统一封装 Edge、微软、OpenAI 等语音接口，省去逐个对接的麻烦。

Turbo-Browser

tbrowser

基于 Chromium 的高效浏览器，启动快、跑分高，支持鼠标手势、垂直标签、分屏对照、截图和小号标签，Windows/macOS 开箱即用。

一份边缘机器学习资源清单，汇总了研究论文、推理引擎、竞赛、书籍和线下活动，方便快速找到在嵌入式与移动端部署模型的相关资料。