OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「推理后端」找到 31 个结果 · 12ms命中词:推理后端inference只看有点评
R
RapidOCR
RapidAI·Python

基于 ONNX Runtime、OpenVINO、PaddlePaddle 等多家推理后端的 OCR 工具包,支持多语言识别,方便在不同硬件上快速部署文字检测与识别。

OCR+4
85080—
RapidAI/RapidOCR · 11.92
M
ms-swift
modelscope·Python

一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。

训练框架+4
160870—
modelscope/ms-swift · 11.26
O
open-webui
open-webui·Svelte

自托管的大模型对话界面,兼容 Ollama、OpenAI API 等后端,内置 RAG 与 MCP 支持,让团队快速搭建私有 AI 聊天入口。

大模型界面+4
1583600—
open-webui/open-webui · 10.58
C
ComfyUI
Comfy-Org·Python

基于节点图的扩散模型图形界面与后端,支持本地快速推理和 API 调用,方便搭建和调试图像生成工作流。

扩散模型+4
1462950—
Comfy-Org/ComfyUI · 10.53
O
opencompass
open-compass·Python

OpenCompass 是一个大模型评测平台,支持 OpenAI、Qwen、DeepSeek 等主流模型,覆盖知识、推理、代码、长上下文等 100+ 数据集,帮你系统化地跑分对比。

大模型评测+4
75830—
open-compass/opencompass · 10.33
J
jan
janhq·Rust

在本地电脑上离线运行大模型的桌面客户端,是 ChatGPT 的开源替代品,无需联网即可对话,数据不出本机。

本地推理+4
456680—
janhq/jan · 10.13
C
crewAI
crewAIInc·Python

用角色扮演的方式编排多个自主 AI 智能体协作完成复杂任务,让每个智能体各司其职、像团队一样配合干活。

智能体编排+4
607610—
crewAIInc/crewAI · 10.12
C
cherry-studio
CherryHQ·TypeScript

把多家大模型、AI Agent 和 MCP 工具整合到一个桌面工作台里,方便日常对话、调用工具和提升生产力。

AI 工作台+4
534250—
CherryHQ/cherry-studio · 10.12
V
verl
verl-project·Python

面向大模型后训练的强化学习框架,用混合编程模型把 RLHF 训练流程编排得灵活又高效,方便扩展和跑大规模实验。

强化学习+4
241960—
verl-project/verl · 9.86
O
OpenLLM
bentoml·Python

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务,省去自己搭推理后端的麻烦。

大模型部署+4
125910—
bentoml/OpenLLM · 9.58
F
FramePack
lllyasviel·Python

让视频扩散模型在普通显卡上也能跑起来,通过帧打包技术大幅降低显存占用,实现实用的长视频生成。

视频生成+4
173510—
lllyasviel/FramePack · 9.57
C
chineseocr_lite
DayBreak-u·C++

超轻量级中文 OCR 工具,总模型仅 4.7M,支持竖排文字识别,可在 ncnn、MNN、TNN 等推理后端运行,适合端侧和低资源场景部署。

中文OCR+4
123540—
DayBreak-u/chineseocr_lite · 9.52
M
models
onnx·Jupyter Notebook

提供大量预训练、前沿的 ONNX 格式模型,可直接下载用于推理部署或迁移学习,省去自己转换和训练的成本。

ONNX模型库+4
98540—
onnx/models · 9.5
L
LLaVA
haotian-liu·Python

开源的多模态视觉指令微调模型,让 LLaMA 类大模型能看图对话,效果对标 GPT-4V,适合做图文问答和视觉助手。

视觉指令微调+4
250750—
haotian-liu/LLaVA · 9.41
O
openvino
openvinotoolkit·C++

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。

推理引擎+4
111460—
openvinotoolkit/openvino · 9.24
S
sports
roboflow·Python

面向体育场景的计算机视觉工具库,提供足球等运动的检测、关键点识别与图像嵌入能力,可直接用于球员追踪和赛事数据分析。

体育视觉+4
54890—
roboflow/sports · 9.21
R
runanywhere-sdks
RunanywhereAI·C++

一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK,覆盖 Android、iOS、Flutter,省去自己搭推理链路的麻烦。

端侧推理+4
103390—
RunanywhereAI/runanywhere-sdks · 9.19
A
AReaL
areal-project·Python

把强化学习接到 LLM Agent 应用上的训练框架,让 Agent 能在真实任务中通过 RL 持续优化策略,配置简单、扩展灵活。

强化学习+4
59040—
areal-project/AReaL · 8.94
N
nndeploy
nndeploy·C++

一款简单易用、高性能的 AI 部署框架,支持 ONNX Runtime、MNN、昇腾等多种推理后端,用低代码方式把深度学习模型和生成式 AI 应用部署到各类硬件上。

AI部署框架+4
18970—
nndeploy/nndeploy · 8.65
U
UniRL
Tencent-Hunyuan·Python

统一多模态模型的强化学习训练框架,打通 SGLang、vLLM 推理后端,方便把多模态大模型跑通 RL 训练流程。

多模态强化学习+4
10460—
Tencent-Hunyuan/UniRL · 8.55
C
cube-studio
tencentmusic

云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。

云原生+4
50840—
tencentmusic/cube-studio · 8.29
Y
YOLOX-ROS
Ar-Ray-code·C++

把 YOLOX 目标检测封装成 ROS2 节点,支持 ONNX Runtime、OpenVINO、TensorRT、TFLite 等多种推理后端,方便机器人项目直接接入实时检测。

目标检测+4
3260—
Ar-Ray-code/YOLOX-ROS · 8.06
O
ome
ome-projects·Go

基于 Kubernetes Operator 的大模型推理部署引擎,统一管理 GPU 调度与模型生命周期,兼容 SGLang、vLLM、TensorRT-LLM 和 Triton 等主流推理后端。

Kubernetes Operator+4
5240—
ome-projects/ome · 8.05
L
llm-benchmark
lework·Python

对本地大模型服务做并发压力测试,自动跑多轮请求并生成性能报告,方便对比 Ollama、vLLM 等推理后端的吞吐和延迟表现。

并发压测+4
2950—
lework/llm-benchmark · 7.98
O
olla
thushan·Go

轻量级 LLM 基础设施代理和负载均衡器,能在本地与远程推理后端之间做智能路由、自动故障转移和统一模型发现。

LLM 代理+4
3380—
thushan/olla · 7.86
Y
yolort
zhiqwang·Python

把 YOLOv5 模型部署到 TensorRT、LibTorch、ONNX Runtime、TVM、NCNN 等推理后端的运行时工具链,省去自己写适配代码。

YOLOv5+4
7300—
zhiqwang/yolort · 7.79
R
resin
ekzhang·Python

用 Python 编写推理引擎的实验性库,面向 LLM 服务场景,支持 CUDA/GPU 加速,方便快速搭建和试验自己的推理后端。

推理引擎+4
4230—
ekzhang/resin · 7.6
S
Spark-X2.6
XHToken

Spark-X2.6 是面向端侧设备的开源模型系列,主打把智能体能力压进本地运行的模型里,支持 llama.cpp、MLX 等推理后端。

端侧模型+4
9030—
XHToken/Spark-X2.6 · 7.51
L
llmaz
InftyAI·Go

在 Kubernetes 上部署大模型推理的简易平台,支持 vLLM、SGLang、llama.cpp 等多种后端,帮你在集群里轻松跑起推理服务。

大模型推理+4
3140—
InftyAI/llmaz · 7.38
A
aitune
ai-dynamo·Python

面向 NVIDIA GPU 的深度学习推理调优工具包,帮助把训练好的模型调优并部署到 TensorRT、ONNX Runtime 等推理后端上跑得更快。

推理调优+4
2900—
ai-dynamo/aitune · 7.33
C
Camelid
timtoole02·Rust

Rust 原生本地推理后端,支持 GGUF 模型和量化,在 Apple Silicon 与 Windows 上跑 LLM,并提供 OpenAI 兼容接口。

本地推理+4
2210—
timtoole02/Camelid · 7.28

发布说明里提到「推理后端」

来自 1 个版本
  • PaddlePaddle/PaddleOCRv3.5.02026-04-21

    …布 深度适配 Hugging Face 生态,20 个主要模型支持以 Transformers 作为推理后端。支持灵活切换推理引擎,可选飞桨静态图、飞桨动态图或 Transformers。 支持常见文档格式(Word、Excel、Powerpoint)转 Markdown。 PaddleOCR-VL 系列、PP-StructureV3、P