跨平台机器学习框架,提供可定制的视觉、音频等实时流媒体处理方案,方便在移动端和桌面端搭建低延迟推理管线。
PyTorch 官方的端侧推理框架,把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行,覆盖 CPU、GPU 等多种后端。
在 Android 手机上本地跑 NLLB 模型的实时翻译 App,支持蓝牙耳机对话翻译,全程离线不联网也能用。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。
基于 PyTorch 的目标检测全家桶,覆盖训练、推理、实例分割、图像分类和模型导出,开箱即用,适合快速落地视觉任务。
超轻量级中文 OCR 工具,总模型仅 4.7M,支持竖排文字识别,可在 ncnn、MNN、TNN 等推理后端运行,适合端侧和低资源场景部署。
面向手机等消费级设备的 LLM 推理引擎,用 2bit 量化和手写内核把大模型塞进端侧运行,主打低显存、跨 Android/iOS 的 ARM 部署。
一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK,覆盖 Android、iOS、Flutter,省去自己搭推理链路的麻烦。
面向 Apple Silicon 的端侧语音 AI 工具包,用 Swift 在 iOS 和 macOS 上本地跑语音识别、说话人分离和语音合成,不用联网也能处理音频。
端侧唤醒词检测引擎,用深度学习在本地识别自定义唤醒词,无需联网即可实现语音激活。