OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「ONNX推理」找到 111 个结果 · 39ms命中词:推理onnxinference只看有点评
O
onnxruntime
microsoft·C++

跨平台高性能推理与训练加速引擎,可直接加载 ONNX 模型,兼容 PyTorch、TensorFlow 等框架导出,解决模型在不同硬件上高效部署的问题。

推理引擎+4
222840—
microsoft/onnxruntime · 22.15
S
sherpa-onnx
k2-fsa·C++

基于新一代 Kaldi 和 onnxruntime 的离线语音工具包,一套搞定语音识别、合成、说话人分离、降噪、声源分离和 VAD,可跑在嵌入式、手机和服务器上。

语音识别+4
158820—
k2-fsa/sherpa-onnx · 21.53
O
onnx
onnx·Python

ONNX 是开放的机器学习模型交换格式标准,让 PyTorch、TensorFlow、Keras 等框架训练出的模型能互相转换、跨平台部署。

模型交换格式+4
216720—
onnx/onnx · 21.4
M
models
onnx·Jupyter Notebook

提供大量预训练、前沿的 ONNX 格式模型,可直接下载用于推理部署或迁移学习,省去自己转换和训练的成本。

ONNX模型库+4
98540—
onnx/models · 21.21
S
server
triton-inference-server·Python

面向云端和数据中心的高性能推理服务端,支持多种深度学习框架模型部署,并可在边缘设备上运行。

推理服务+4
111360—
triton-inference-server/server · 19.94
T
text-embeddings-inference
huggingface·Rust

面向文本嵌入模型的高性能推理服务,用 Rust 编写,可快速把文本转成向量,适合搭建检索和 RAG 的向量化后端。

文本嵌入+4
51190—
huggingface/text-embeddings-inference · 17.86
O
onnxsim
onnxsim·Python

把 PyTorch 等导出的 ONNX 模型做图优化和算子融合,去掉冗余节点、简化计算图,方便部署和推理加速。

模型简化+4
44200—
onnxsim/onnxsim · 15.84
O
onnx-tensorrt
onnx·C++

把 ONNX 模型直接转成 TensorRT 引擎的官方解析器,让训练好的模型能在 NVIDIA GPU 上做高性能推理部署。

推理加速+4
32460—
onnx/onnx-tensorrt · 15.75
O
OnnxOCR
jingsongliujing·Python

把 PaddleOCR 的模型转成 ONNX 推理,彻底摆脱 PaddlePaddle 框架依赖,轻量部署、推理速度很快,适合做通用 OCR、表格识别和车牌识别。

OCR+4
18840—
jingsongliujing/OnnxOCR · 15.3
K
kokoro-onnx
thewh1teagle·Python

基于 Kokoro 模型和 ONNX Runtime 的轻量级语音合成方案,用 Python 就能在本地跑出高质量 TTS,省去复杂环境配置。

语音合成+4
28600—
thewh1teagle/kokoro-onnx · 15.3
O
OnnxStream
vitoplantamura·C++

用 C++ 写的轻量级 ONNX 推理库,靠流式加载把内存压到极低,能在树莓派 Zero 2 或 298MB 内存里跑 Stable Diffusion XL 1.0,桌面端也能跑 Mistral 7B。

ONNX推理+4
20870—
vitoplantamura/OnnxStream · 15.28
T
tensorflow-onnx
onnx·Jupyter Notebook

把 TensorFlow、Keras、TensorFlow.js 和 TFLite 模型一键转成 ONNX 格式,方便跨框架部署和推理。

模型转换+4
25610—
onnx/tensorflow-onnx · 15.2
I
inference
roboflow·Python

把任意电脑或边缘设备变成计算机视觉推理服务器,一条命令部署目标检测、分类、实例分割等模型,省去自己搭服务的麻烦。

计算机视觉+4
24920—
roboflow/inference · 15.06
P
Paddle2ONNX
PaddlePaddle·C++

把 PaddlePaddle 训练好的模型导出成 ONNX 格式,方便用 ONNX Runtime 等推理引擎部署,覆盖分类、检测、OCR 等模型。

模型导出+4
9500—
PaddlePaddle/Paddle2ONNX · 14.67
O
onnxruntime_go
yalue·Go

把微软 ONNX Runtime 封装成 Go 库,让 Go 程序能直接加载和推理 ONNX 模型,省去跨语言调用的麻烦。

ONNX推理+3
7400—
yalue/onnxruntime_go · 14.63
O
optimizer
onnx·Python

对 ONNX 模型做图级优化的 Python 工具,通过算子融合、常量折叠等变换精简计算图,让推理更快、模型更小。

ONNX+4
8410—
onnx/optimizer · 14.62
O
onnxmltools
onnx·Python

把 Keras、scikit-learn、LightGBM 等训练好的模型转成 ONNX 格式,方便跨框架部署和推理。

模型转换+4
11760—
onnx/onnxmltools · 14.61
L
libonnx
xboot·C

纯 C99 实现的轻量级 ONNX 推理引擎,专为嵌入式设备设计,支持硬件加速,让单片机也能跑深度学习模型。

推理引擎+4
6560—
xboot/libonnx · 14.42
S
sklearn-onnx
onnx·Python

把 scikit-learn 训练好的模型和 Pipeline 转成 ONNX 格式,方便跨框架部署和推理加速。

模型转换+4
6340—
onnx/sklearn-onnx · 14.39
O
OnnxSlim
inisis·Python

一款 ONNX 模型优化工具,通过精简计算图和冗余节点来减小模型体积、提升推理速度,适合部署前做模型瘦身。

ONNX+4
5250—
inisis/OnnxSlim · 14.26
O
onnx-tool
ThanatosShinji·Python

解析、编辑、优化和性能分析 ONNX 模型的 Python 工具,方便查看模型结构、修改计算图并定位推理瓶颈。

ONNX+4
4940—
ThanatosShinji/onnx-tool · 13.98
O
onnx2c
kraiskil·C

把 ONNX 模型编译成纯 C 代码,方便在单片机和边缘设备上直接跑推理,不用带完整运行时。

模型编译+4
4250—
kraiskil/onnx2c · 13.82
Y
yolov5
ultralytics·Python

基于 PyTorch 的目标检测全家桶,覆盖训练、推理、实例分割、图像分类和模型导出,开箱即用,适合快速落地视觉任务。

目标检测+4
582590—
ultralytics/yolov5 · 13.74
N
ncnn
Tencent·C++

面向手机端的高性能神经网络推理框架,针对 ARM 平台深度优化,让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。

推理框架+4
240370—
Tencent/ncnn · 13.66
N
netron
lutzroeder·JavaScript

把 ONNX、PyTorch、Keras、CoreML 等格式的神经网络模型直接拖进浏览器就能看结构图,排查模型转换和层连接问题很方便。

模型可视化+4
336770—
lutzroeder/netron · 13.6
O
ONNXim
PSAL-POSTECH·C++

ONNXim 是一个周期级多核 NPU 模拟器,能快速仿真 DNN 推理在 NPU 上的执行过程,帮助评估和优化硬件设计。

NPU模拟器+4
2210—
PSAL-POSTECH/ONNXim · 13.52
I
inference
ultralytics·Rust

用 Rust 封装 ONNX Runtime 跑 Ultralytics YOLO 推理,支持 CUDA、CoreML、OpenVINO 等 GPU 后端,还带命令行和 WebGPU/WASM,方便在本地或浏览器里做目标检测、分割、姿态估计。

YOLO推理+4
2180—
ultralytics/inference · 13.42
B
burn
tracel-ai·Rust

Rust 写的张量库和深度学习框架,兼顾灵活性与效率,支持自动微分、跨平台后端和内核融合,可训练和部署神经网络。

深度学习框架+4
162670—
tracel-ai/burn · 13.27
R
RapidOCR
RapidAI·Python

基于 ONNX Runtime、OpenVINO、PaddlePaddle 等多家推理后端的 OCR 工具包,支持多语言识别,方便在不同硬件上快速部署文字检测与识别。

OCR+4
85080—
RapidAI/RapidOCR · 13.24
Y
yolov3
ultralytics·Python

基于 PyTorch 的 YOLOv3 系列实现,覆盖训练、验证、推理全流程,并支持导出 ONNX、CoreML、TensorRT 等多种格式,方便做实时目标检测和边缘部署。

目标检测+4
106380—
ultralytics/yolov3 · 13.05
S
silero-vad
snakers4·Python

预训练的企业级语音活动检测(VAD)模型,能精准切分音频中的说话段与静音段,支持 ONNX 和 PyTorch 部署,适合语音识别、语音指令等场景的前置处理。

语音活动检测+4
106360—
snakers4/silero-vad · 12.9
Y
YOLOX
Megvii-BaseDetection·Python

高性能无锚框 YOLO 目标检测器,精度超过 YOLOv3~v5,支持 MegEngine、ONNX、TensorRT、ncnn 和 OpenVINO 多后端部署。

目标检测+4
107030—
Megvii-BaseDetection/YOLOX · 12.8
R
RTranslator
niedev·Java

在 Android 手机上本地跑 NLLB 模型的实时翻译 App,支持蓝牙耳机对话翻译,全程离线不联网也能用。

离线翻译+4
106320—
niedev/RTranslator · 12.79
T
transformers.js
huggingface·JavaScript

在浏览器里直接跑 Hugging Face 的 Transformer 模型,不用后端服务器,前端就能做文本、视觉等机器学习推理。

浏览器推理+4
164120—
huggingface/transformers.js · 12.74
T
TensorRT
NVIDIA·C++

NVIDIA 官方的高性能深度学习推理 SDK,能把训练好的模型在 NVIDIA GPU 上做极致加速和部署,适合追求低延迟高吞吐的生产推理场景。

推理引擎+4
134470—
NVIDIA/TensorRT · 12.66
X
X-AnyLabeling
CVHub520·Python

跨平台桌面标注工具,支持文本、图像、视频、点云和多模态数据,内置 AI 模型辅助预标注,可导出多种格式。

数据标注+4
109440—
CVHub520/X-AnyLabeling · 12.65
G
gocv
hybridgroup·Go

用 Go 语言调用 OpenCV 做计算机视觉的封装库,支持 DNN 推理、CUDA 加速、OpenVINO 和扩展模块,省去写 C++ 胶水代码的麻烦。

计算机视觉+4
75180—
hybridgroup/gocv · 12.57
M
MNN
alibaba·C++

阿里开源的轻量级端侧推理引擎,主打手机和嵌入式设备上的高性能模型推理,能跑大模型和常规深度学习网络。

推理引擎+4
164930—
alibaba/MNN · 12.55
B
background-removal-js
imgly·TypeScript

在浏览器里直接完成图片抠图去背景,无需上传服务器,兼顾隐私和零成本,适合前端集成。

抠图+4
73740—
imgly/background-removal-js · 12.49
B
B
AhmadHassan-BTed·Python

一个能自主感知上下文的桌面 AI 伴侣,通过实时屏幕视觉、窗口追踪和 ONNX 语音合成,配合带表情的悬浮界面与你互动。

桌面助手+4
51970—
AhmadHassan-BTed/B · 12.44