OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「端侧推理」找到 29 个结果 · 11ms命中词:端侧推理inferenceedge只看有点评
M
mediapipe
google-ai-edge·C++

跨平台机器学习框架,提供可定制的视觉、音频等实时流媒体处理方案,方便在移动端和桌面端搭建低延迟推理管线。

端侧推理+4
376440—
google-ai-edge/mediapipe · 18.42
F
flutter_edge_ai
DenisovAV·Dart

让 Flutter 应用在手机、桌面和 Web 上直接跑 Gemma 等大模型,支持多模态、函数调用、向量嵌入、RAG 和语音,不用依赖云端。

端侧推理+4
6570—
DenisovAV/flutter_edge_ai · 11.89
F
FluidUse
FluidInference·Swift

在 Apple 芯片 Mac 上本地运行的电脑操作代理,通过 macOS 无障碍 API 驱动,用 laya 做端侧决策、CUA-S1-FORMS 填表,无需云端。

电脑操作代理+4
5460—
FluidInference/FluidUse · 11.61
E
executorch
pytorch·Python

PyTorch 官方的端侧推理框架,把训练好的模型导出并部署到手机、嵌入式和边缘设备上运行,覆盖 CPU、GPU 等多种后端。

端侧推理+4
51700—
pytorch/executorch · 11.4
R
RTranslator
niedev·Java

在 Android 手机上本地跑 NLLB 模型的实时翻译 App,支持蓝牙耳机对话翻译,全程离线不联网也能用。

离线翻译+4
106320—
niedev/RTranslator · 11.05
G
GenieX
qualcomm·Go

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。

端侧推理+4
85140—
qualcomm/GenieX · 10.91
Y
yolov5
ultralytics·Python

基于 PyTorch 的目标检测全家桶,覆盖训练、推理、实例分割、图像分类和模型导出,开箱即用,适合快速落地视觉任务。

目标检测+4
582590—
ultralytics/yolov5 · 10.34
C
chineseocr_lite
DayBreak-u·C++

超轻量级中文 OCR 工具,总模型仅 4.7M,支持竖排文字识别,可在 ncnn、MNN、TNN 等推理后端运行,适合端侧和低资源场景部署。

中文OCR+4
123540—
DayBreak-u/chineseocr_lite · 9.56
M
MNN
alibaba·C++

阿里开源的轻量级端侧推理引擎,主打手机和嵌入式设备上的高性能模型推理,能跑大模型和常规深度学习网络。

推理引擎+4
164930—
alibaba/MNN · 9.55
E
engine
cactus-compute·C++

面向手机等消费级设备的 LLM 推理引擎,用 2bit 量化和手写内核把大模型塞进端侧运行,主打低显存、跨 Android/iOS 的 ARM 部署。

端侧推理+4
61880—
cactus-compute/engine · 9.24
R
runanywhere-sdks
RunanywhereAI·C++

一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK,覆盖 Android、iOS、Flutter,省去自己搭推理链路的麻烦。

端侧推理+4
103390—
RunanywhereAI/runanywhere-sdks · 9.24
A
argmax-oss-swift
argmaxinc·Swift

面向 Apple Silicon 的端侧语音 AI 工具包,用 Swift 在 iOS 和 macOS 上本地跑语音识别、说话人分离和语音合成,不用联网也能处理音频。

端侧推理+4
64520—
argmaxinc/argmax-oss-swift · 9.12
P
porcupine
Picovoice·Python

端侧唤醒词检测引擎,用深度学习在本地识别自定义唤醒词,无需联网即可实现语音激活。

唤醒词检测+4
50220—
Picovoice/porcupine · 9.06
M
muesli
Muesli-HQ·Swift

macOS 上的本地会议转录与语音听写工具,支持 Apple Silicon 端侧推理,隐私优先,可替代 Granola 和 WisprFlow。

语音转录+4
15610—
Muesli-HQ/muesli · 8.53
R
react-native-fast-tflite
margelo·TypeScript

在 React Native 里跑 TensorFlow Lite 模型的高性能绑定库,支持 GPU 加速,适合在手机上做目标检测、人脸识别等端侧推理。

端侧推理+4
12420—
margelo/react-native-fast-tflite · 8.52
S
speech-swift
soniqo·Swift

面向 Apple Silicon 的本地语音工具箱,用 MLX 和 CoreML 在 iOS/macOS 上跑语音识别、语音合成、语音转换、VAD 和说话人分离,全程端侧推理。

语音识别+4
12700—
soniqo/speech-swift · 8.45
F
foundry-local
microsoft·C++

微软推出的本地 AI 推理运行时,基于 ONNX Runtime 在设备端跑聊天补全和语音转文字模型,支持 GPU 加速,不用联网也能用。

本地推理+4
26500—
microsoft/foundry-local · 8.13
T
typewhisper-mac
TypeWhisper·Swift

macOS 上的本地语音转文字工具,基于端侧 AI 实现听写与转录,数据不出本机,也可按需接入云端。

语音转文字+4
19180—
TypeWhisper/typewhisper-mac · 7.94
V
vosk-android-demo
alphacep·Java

基于 Vosk 库的 Android 离线语音识别示例,无需联网即可在手机本地完成语音转文字,适合做端侧 ASR 集成参考。

离线语音识别+4
10610—
alphacep/vosk-android-demo · 7.91
A
ai-hub-models
qualcomm·Python

高通官方维护的预优化模型库,模型已针对延迟和内存调优,可直接部署到骁龙等高通设备上推理。

端侧推理+4
12600—
qualcomm/ai-hub-models · 7.84
R
react-native-executorch
software-mansion·TypeScript

把 ExecuTorch 推理运行时封装进 React Native,让手机端直接跑 LLM、视觉、语音等模型,数据不出设备。

端侧推理+4
17880—
software-mansion/react-native-executorch · 7.81
M
MasterAgent
OpenSparX·C++

在 Qualcomm NPU 上本地运行 AI Agent 的 C++ 框架,延迟低于 100ms,完全不依赖云端,适合车载、嵌入式和 IoT 场景。

端侧推理+4
9790—
OpenSparX/MasterAgent · 7.8
C
CoreML-Models
john-rocky·Swift

把 PyTorch 模型转成 iOS/macOS 可直接用的 .mlpackage,每个模型都配转换脚本和 SwiftUI 示例,省去自己折腾 Core ML 的麻烦。

Core ML+4
18950—
john-rocky/CoreML-Models · 7.77
F
Fun-ASR
QwenAudio·C

Fun-ASR 是支持 31 种语言和中文方言的语音识别模型,提供 Nano 轻量版,并支持 Transformers、FunASR、vLLM、llama.cpp 多种部署方式,可端侧运行。

语音识别+4
16020—
QwenAudio/Fun-ASR · 7.54
O
OlliteRT
NightMean·Kotlin

把安卓手机变成兼容 OpenAI 接口的本地大模型推理服务器,数据不出设备,可接入 Home Assistant 等应用。

端侧推理+4
6280—
NightMean/OlliteRT · 7.5
A
ai-hub-apps
qualcomm·Python

高通 AI Hub 应用集,提供针对高通设备优化过延迟和内存的机器学习模型,可直接部署到骁龙等终端上跑推理。

端侧推理+4
4790—
qualcomm/ai-hub-apps · 7.39
N
NotelyVoice
Notely-Voice·C++

基于 Whisper 的端侧语音转文字应用,支持 100 多种语言,用 Compose Multiplatform 同时覆盖 Android 和 iOS,全程本地推理不上传云端,适合注重隐私的转写场景。

语音转文字+4
8190—
Notely-Voice/NotelyVoice · 7.2
Q
qvac
tetherto·TypeScript

开源本地 AI SDK,无需云端和 API Key 即可在设备端跑 GGUF 模型,集成 RAG、图像音乐视频生成、语音转写和 P2P 推理,覆盖桌面与移动端。

端侧推理+4
7600—
tetherto/qvac · 7.15
P
picollm
Picovoice·Python

在本地设备上跑大语言模型的推理引擎,靠 X-Bit 量化把模型压小,让 Llama、Gemma 这类模型在资源有限的机器上也能流畅生成。

端侧推理+4
3190—
Picovoice/picollm · 7.11