跨平台机器学习框架,提供可定制的视觉、音频等实时流媒体处理方案,方便在移动端和桌面端搭建低延迟推理管线。
一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK,覆盖 Android、iOS、Flutter,省去自己搭推理链路的麻烦。
通用大模型部署引擎,借助机器学习编译技术把 LLM 高效跑在各种硬件上,从手机到服务器都能用。
开源手机智能体模型与框架,让 AI 直接操作手机界面完成点按、输入等任务,把「AI 手机」能力开放给所有人。
超低延迟的语音转文字、意图识别和语音合成工具,用来搭建语音助手和语音交互界面,响应快、适合实时对话场景。
面向视频分析与端侧 VLM 的 C++ 边缘推理引擎,支持算能、瑞芯微 RKNN 和 x86 平台,自带可视化编排、实时 OSD、事件与可复现基准。
面向流式和端侧场景优化的 Whisper 语音识别模型,支持 Apple Silicon、CoreML、MLX 和 NVIDIA GPU,可做实时转写与翻译。
在浏览器里直接跑 llama、deepseek-distill、kokoro 等本地大模型和语音合成,靠 WebGPU 加速,不用装后端也不用上传数据。
轻量级上下文感知语音合成模型,仅2.19亿活跃参数,支持声音克隆和流式输出,纯C实现可在CPU上离线运行,附带完整的实时语音助手方案。
高通官方维护的预优化模型库,模型已针对延迟和内存调优,可直接部署到骁龙等高通设备上推理。
在手机或 Mac 上离线跑 GGUF 大模型、视觉识别、Whisper 语音转文字和 Stable Diffusion 生图,支持工具调用与局域网服务,无需账号和 API Key。
Hailo 官方预训练模型库,提供面向 Hailo-8 边缘 AI 加速器的模型、量化工具和完整评估环境,方便直接部署到端侧设备。
PyTorch 官方的端侧推理框架,把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行,覆盖 CPU、GPU 等多种后端。
让 Flutter 应用在手机、桌面和 Web 上直接跑 Gemma 等大模型,支持多模态、函数调用、向量嵌入、RAG 和语音,不用依赖云端。
高通 AI Hub 应用集,提供针对高通设备优化过延迟和内存的机器学习模型,可直接部署到骁龙等终端上跑推理。
面向手机等消费级设备的 LLM 推理引擎,用 2bit 量化和手写内核把大模型塞进端侧运行,主打低显存、跨 Android/iOS 的 ARM 部署。
面向 Apple Silicon 的端侧语音 AI 工具包,用 Swift 在 iOS 和 macOS 上本地跑语音识别、说话人分离和语音合成,不用联网也能处理音频。
跑在 Android 手机本地的 AI 智能体,借助无障碍服务直接操作 App 和网页,帮你自动完成点按、填表等任务。
Android 上能力最强的 AI Agent 与聊天软件,支持本地 llama/MNN 模型和终端操作,让手机直接跑智能体任务。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。
跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
macOS 上的本地语音转文字工具,基于端侧 AI 实现听写与转录,数据不出本机,也可按需接入云端。
在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎,让视觉语言模型能在端侧低资源环境下完成推理。
macOS 上的本地会议转录与语音听写工具,支持 Apple Silicon 端侧推理,隐私优先,可替代 Granola 和 WisprFlow。
在 React Native 里跑 TensorFlow Lite 模型的高性能绑定库,支持 GPU 加速,适合在手机上做目标检测、人脸识别等端侧推理。
面向 Apple Foundation Models 框架的实战实验场,帮你在 iOS 和 macOS 上动手搭建、测试并评估端侧大模型应用。
面向 Apple Silicon 的本地语音工具箱,用 MLX 和 CoreML 在 iOS/macOS 上跑语音识别、语音合成、语音转换、VAD 和说话人分离,全程端侧推理。
Spark-X2.6 是面向端侧设备的开源模型系列,主打把智能体能力压进本地运行的模型里,支持 llama.cpp、MLX 等推理后端。
微软推出的本地 AI 推理运行时,基于 ONNX Runtime 在设备端跑聊天补全和语音转文字模型,支持 GPU 加速,不用联网也能用。
面向 iPad 和 iPhone 的开源端侧 AI 智能体工作台,在设备本地跑 Linux、终端、Python/Node.js、Git 和 3D/CAD 编辑,支持自带密钥接入大模型。
基于 Whisper 的端侧语音转文字应用,支持 100 多种语言,用 Compose Multiplatform 同时覆盖 Android 和 iOS,全程本地推理不上传云端,适合注重隐私的转写场景。
在 Apple 芯片 Mac 上本地运行的电脑操作代理,通过 macOS 无障碍 API 驱动,用 laya 做端侧决策、CUA-S1-FORMS 填表,无需云端。
在本地设备上跑实时多模态 AI 的 Python 项目,整合语音识别、语音合成和本地大模型,实现类似 GPT-Live 的实时对话体验,支持 Apple Silicon 和 MLX。
把 ExecuTorch 推理运行时封装进 React Native,让手机端直接跑 LLM、视觉、语音等模型,数据不出设备。
把 PyTorch 模型转成 iOS/macOS 可直接用的 .mlpackage,每个模型都配转换脚本和 SwiftUI 示例,省去自己折腾 Core ML 的麻烦。
在 Qualcomm NPU 上本地运行 AI Agent 的 C++ 框架,延迟低于 100ms,完全不依赖云端,适合车载、嵌入式和 IoT 场景。
把 SAM3 通过渐进式知识蒸馏压缩成轻量边缘模型,实现快速的可提示概念分割与跟踪,适合端侧部署。
把安卓手机变成兼容 OpenAI 接口的本地大模型推理服务器,数据不出设备,可接入 Home Assistant 等应用。