OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「推理后端」找到 19 个结果 · 8ms命中词:推理后端inference只看有点评
R
RapidOCR
RapidAI·Python

基于 ONNX Runtime、OpenVINO、PaddlePaddle 等多家推理后端的 OCR 工具包,支持多语言识别,方便在不同硬件上快速部署文字检测与识别。

OCR+4
85100—
RapidAI/RapidOCR · 11.92
M
ms-swift
modelscope·Python

一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。

训练框架+4
160900—
modelscope/ms-swift · 11.26
O
open-webui
open-webui·Svelte

自托管的大模型对话界面,兼容 Ollama、OpenAI API 等后端,内置 RAG 与 MCP 支持,让团队快速搭建私有 AI 聊天入口。

大模型界面+4
1583940—
open-webui/open-webui · 10.58
C
ComfyUI
Comfy-Org·Python

基于节点图的扩散模型图形界面与后端,支持本地快速推理和 API 调用,方便搭建和调试图像生成工作流。

扩散模型+4
1463390—
Comfy-Org/ComfyUI · 10.53
O
opencompass
open-compass·Python

OpenCompass 是一个大模型评测平台,支持 OpenAI、Qwen、DeepSeek 等主流模型,覆盖知识、推理、代码、长上下文等 100+ 数据集,帮你系统化地跑分对比。

大模型评测+4
75840—
open-compass/opencompass · 10.33
J
jan
janhq·Rust

在本地电脑上离线运行大模型的桌面客户端,是 ChatGPT 的开源替代品,无需联网即可对话,数据不出本机。

本地推理+4
456730—
janhq/jan · 10.13
C
crewAI
crewAIInc·Python

用角色扮演的方式编排多个自主 AI 智能体协作完成复杂任务,让每个智能体各司其职、像团队一样配合干活。

智能体编排+4
607760—
crewAIInc/crewAI · 10.12
C
cherry-studio
CherryHQ·TypeScript

把多家大模型、AI Agent 和 MCP 工具整合到一个桌面工作台里,方便日常对话、调用工具和提升生产力。

AI 工作台+4
534350—
CherryHQ/cherry-studio · 10.12
V
verl
verl-project·Python

面向大模型后训练的强化学习框架,用混合编程模型把 RLHF 训练流程编排得灵活又高效,方便扩展和跑大规模实验。

强化学习+4
241990—
verl-project/verl · 9.86
O
OpenLLM
bentoml·Python

把 DeepSeek、Llama 等开源大模型一键部署成兼容 OpenAI 的 API 服务,省去自己搭推理后端的麻烦。

大模型部署+4
125920—
bentoml/OpenLLM · 9.58
F
FramePack
lllyasviel·Python

让视频扩散模型在普通显卡上也能跑起来,通过帧打包技术大幅降低显存占用,实现实用的长视频生成。

视频生成+4
173510—
lllyasviel/FramePack · 9.57
C
chineseocr_lite
DayBreak-u·C++

超轻量级中文 OCR 工具,总模型仅 4.7M,支持竖排文字识别,可在 ncnn、MNN、TNN 等推理后端运行,适合端侧和低资源场景部署。

中文OCR+4
123550—
DayBreak-u/chineseocr_lite · 9.52
M
models
onnx·Jupyter Notebook

提供大量预训练、前沿的 ONNX 格式模型,可直接下载用于推理部署或迁移学习,省去自己转换和训练的成本。

ONNX模型库+4
98560—
onnx/models · 9.5
L
LLaVA
haotian-liu·Python

开源的多模态视觉指令微调模型,让 LLaMA 类大模型能看图对话,效果对标 GPT-4V,适合做图文问答和视觉助手。

视觉指令微调+4
250750—
haotian-liu/LLaVA · 9.41
O
openvino
openvinotoolkit·C++

把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。

推理引擎+4
111470—
openvinotoolkit/openvino · 9.24
S
sports
roboflow·Python

面向体育场景的计算机视觉工具库,提供足球等运动的检测、关键点识别与图像嵌入能力,可直接用于球员追踪和赛事数据分析。

体育视觉+4
54890—
roboflow/sports · 9.21
R
runanywhere-sdks
RunanywhereAI·C++

一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK,覆盖 Android、iOS、Flutter,省去自己搭推理链路的麻烦。

端侧推理+4
103400—
RunanywhereAI/runanywhere-sdks · 9.19
A
AReaL
areal-project·Python

把强化学习接到 LLM Agent 应用上的训练框架,让 Agent 能在真实任务中通过 RL 持续优化策略,配置简单、扩展灵活。

强化学习+4
59060—
areal-project/AReaL · 8.94
C
cube-studio
tencentmusic

云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。

云原生+4
50840—
tencentmusic/cube-studio · 8.29

发布说明里提到「推理后端」

来自 1 个版本
  • PaddlePaddle/PaddleOCRv3.5.02026-04-21

    …布 深度适配 Hugging Face 生态,20 个主要模型支持以 Transformers 作为推理后端。支持灵活切换推理引擎,可选飞桨静态图、飞桨动态图或 Transformers。 支持常见文档格式(Word、Excel、Powerpoint)转 Markdown。 PaddleOCR-VL 系列、PP-StructureV3、P