OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「推理编排」找到 56 个结果 · 14ms命中词:推理编排inferenceorchestrationworkflowpipeline只看有点评
I
inference
xorbitsai·Python

一行代码就能把 GPT 换成任意开源大模型,统一推理 API 支持云端、本地和笔记本部署,覆盖语言、语音和多模态模型。

推理服务+4
96530—
xorbitsai/inference · 15.75
C
crewAI
crewAIInc·Python

用角色扮演的方式编排多个自主 AI 智能体协作完成复杂任务,让每个智能体各司其职、像团队一样配合干活。

智能体编排+4
607760—
crewAIInc/crewAI · 11.2
K
kubeflow
kubeflow

基于 Kubernetes 的云原生机器学习平台,把训练、流水线编排、模型服务和 Notebook 开发统一到容器化集群里,解决 MLOps 各环节割裂、难以规模化调度的问题。

云原生+4
159600—
kubeflow/kubeflow · 11.15
R
ray
ray-project·Python

分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。

分布式计算+4
442610—
ray-project/ray · 11.01
C
cube-studio
tencentmusic

云原生一站式机器学习与大模型平台,覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调,支持国产算力生态。

云原生+4
50840—
tencentmusic/cube-studio · 10.86
M
mastra
mastra-ai·TypeScript

用 TypeScript 快速搭建 AI 应用和智能体的现代框架,内置工作流、对话机器人和评测能力,省去自己拼装 LLM 调用链的麻烦。

智能体框架+4
294760—
mastra-ai/mastra · 10.69
J
jan
janhq·Rust

在本地电脑上离线运行大模型的桌面客户端,是 ChatGPT 的开源替代品,无需联网即可对话,数据不出本机。

本地推理+4
456730—
janhq/jan · 10.68
1
1Panel
1Panel-dev·Go

面向 Linux 服务器的开源运维管理面板,用 Web 界面管理 Docker、LNMP 站点和 Ollama 等 AI 服务,省去手敲命令的麻烦。

服务器管理面板+4
374330—
1Panel-dev/1Panel · 10.67
F
flyte
flyteorg·Go

在 Kubernetes 上编排 ML 流水线、智能体和实时推理的类型安全分布式引擎,用纯 Python 的 async/await 写工作流,也支持 Rust、Go 和 TS。

流水线编排+4
78340—
flyteorg/flyte · 10.56
D
dynamo
ai-dynamo·Rust

面向数据中心的分布式推理服务框架,用 Rust 编写,支持 vLLM、SGLang、TensorRT-LLM 等后端,解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。

分布式推理+4
84700—
ai-dynamo/dynamo · 10.45
O
open-webui
open-webui·Svelte

自托管的大模型对话界面,兼容 Ollama、OpenAI API 等后端,内置 RAG 与 MCP 支持,让团队快速搭建私有 AI 聊天入口。

大模型界面+4
1583940—
open-webui/open-webui · 10.4
D
deep-searcher
zilliztech·Python

用 Python 写的开源深度研究工具,能对私有数据做推理式检索,替代闭源深度研究方案,支持接入 Milvus 和多种大模型。

深度研究+4
83890—
zilliztech/deep-searcher · 10.34
P
plano
katanemo·Rust

面向智能体应用的 AI 原生代理服务器和数据平面,提供 LLM 智能路由、可观测性、编排与护栏,让开发者专注核心逻辑。

LLM 网关+4
71150—
katanemo/plano · 10.28
T
TensorRT-LLM
NVIDIA·Python

用 Python API 定义大模型,并借助 TensorRT 在 NVIDIA GPU 上做极致优化推理,还提供 Python/C++ 运行时来编排高性能服务。

推理引擎+4
150640—
NVIDIA/TensorRT-LLM · 10.26
S
spring-ai-alibaba
alibaba·Java

面向 Java 开发者的智能体 AI 框架,基于 Spring AI 构建,支持 ReAct 智能体、多智能体协作和基于图的工作流编排。

智能体框架+4
111340—
alibaba/spring-ai-alibaba · 10.25
A
AionUi
iOfficeAI·TypeScript

把 Claude Code、Codex、Gemini CLI 等 20 多种命令行 AI 代理统一到一个可长期在线的协作界面里,支持自定义助手并组队干活。

命令行代理+4
342180—
iOfficeAI/AionUi · 10.19
M
ml-engineering
stas00·Python

一本面向大模型工程实践的开源手册,系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题,帮工程师把模型真正跑起来。

大模型工程+4
196980—
stas00/ml-engineering · 10.13
B
BentoML
bentoml·Python

把训练好的模型快速封装成推理 API 和任务队列,支持 LLM 应用与多模型流水线,省去自己搭服务框架的麻烦。

模型推理服务+4
89410—
bentoml/BentoML · 10.04
T
T3MP3ST
elder-plinius·TypeScript

一个自主红队测试平台,用多智能体编排自动执行攻击性安全测试,帮安全团队持续检验防御能力。

红队测试+4
70150—
elder-plinius/T3MP3ST · 9.97
A
aider
Aider-AI·Python

在终端里跑 AI 结对编程,让大模型直接读写本地代码库、自动改文件并提交 git,省去在编辑器和聊天窗口间来回粘贴。

结对编程+4
500670—
Aider-AI/aider · 9.97
C
cog
replicate·Go

把机器学习模型打包成标准 Docker 容器,自动生成 HTTP 推理服务接口,省去自己写 Dockerfile 和部署脚本的麻烦。

模型容器化+4
94980—
replicate/cog · 9.95
S
superduper
superduper-io·Python

把数据库和 AI 模型直接打通的全栈框架,让你在 MongoDB 等数据源上直接做推理、训练和部署自定义 AI 应用与智能体。

AI应用框架+4
53290—
superduper-io/superduper · 9.76
W
WeKnora
Tencent·Go

把原始文档变成可查询的 RAG、自主推理 Agent 和自维护 Wiki 的开源 LLM 知识平台,适合搭建企业知识库与智能问答。

知识库+4
371930—
Tencent/WeKnora · 9.74
O
Open-Generative-AI
Anil-matcha·JavaScript

自托管的多模型 AI 图像与视频生成工作台,聚合 Flux、Midjourney、Kling、Sora 等 600+ 模型,无内容过滤,可替代闭源视频平台。

图像生成+4
340820—
Anil-matcha/Open-Generative-AI · 9.73
V
verl
verl-project·Python

面向大模型后训练的强化学习框架,用混合编程模型把 RLHF 训练流程编排得灵活又高效,方便扩展和跑大规模实验。

强化学习+4
241990—
verl-project/verl · 9.69
B
bisheng
dataelement·Python

开源企业级 Agent 平台,把智能体、工作流、RAG 知识库和模型管理整合在一起,方便企业搭建、部署和运维 AI 应用。

Agent 平台+4
122570—
dataelement/bisheng · 9.65
U
UFO
microsoft·Python

面向 Windows 的 GUI 智能体框架,用自然语言驱动 LLM 自动操作桌面应用完成跨应用任务,把繁琐的点击流程交给 AI 执行。

GUI 智能体+4
101990—
microsoft/UFO · 9.64
B
brigade
spinabot·TypeScript

Brigade 是一个 TypeScript 编写的自主智能体运行时,用来编排多智能体协作(AI crew),把个人 AI 助手做成企业级可靠的服务。

智能体运行时+3
113730—
spinabot/brigade · 9.62
L
llmware
llmware-ai·Python

用小型专用模型搭建企业级 RAG 流水线的统一框架,覆盖文档解析、检索和智能体编排,适合在本地或私有环境部署。

RAG流水线+4
148220—
llmware-ai/llmware · 9.6
O
OpenExecutive
SenteLabsAI·Python

用 8 个专家 Agent 组成一个统一的虚拟高管团队,对外呈现一致的高管人格,基于 FastAPI 和 Next.js 搭建,适合做多智能体协作与 RAG 决策辅助。

多智能体+4
57940—
SenteLabsAI/OpenExecutive · 9.46
T
traefik
traefik·Go

云原生反向代理和负载均衡器,自动发现 Docker、Kubernetes 等服务并配置路由,内置 Let's Encrypt 证书管理,适合做微服务入口网关。

反向代理+4
655270—
traefik/traefik · 9.34
L
leon
leon-ai·TypeScript

开源的个人 AI 助手,可本地离线运行,通过语音或文字对话帮你处理日程、查询信息、执行自动化任务。

个人助手+4
176640—
leon-ai/leon · 9.3
Z
zenml
zenml-io·Python

面向 MLOps 与 LLM 工作流的可扩展平台,把数据管道、模型训练到 Agent 部署串成可复现流程,并统一追踪元数据与实验。

MLOps+4
56390—
zenml-io/zenml · 9.28
D
DeepAudit
lintsinghua·Python

基于大模型的自动化代码安全审计平台,多智能体协作挖掘漏洞,并在沙箱中自动验证 PoC,支持 Ollama 私有部署和一键生成报告。

代码审计+4
73000—
lintsinghua/DeepAudit · 9.21
O
ODS
Osmantic·Python

把普通 PC、Mac 或 Linux 机器变成私有 AI 服务器,集成 llama.cpp、ComfyUI、Open WebUI、n8n 等组件,方便本地跑大模型、RAG 和 Agent 工作流。

私有 AI 服务器+4
78120—
Osmantic/ODS · 9.19
O
osaurus
osaurus-ai·Swift

用 Swift 写的原生 macOS AI 智能体运行环境,可接入任意模型,支持持久记忆、自主执行和加密身份,全程离线运行。

智能体运行环境+4
81590—
osaurus-ai/osaurus · 9.11
J
jcode
1jehuang·Rust

用 Rust 写的高性能编码 Agent 运行框架,专为多 Agent 并行开发的重度工作流设计,在终端里跑 TUI 界面。

编码 Agent+4
217000—
1jehuang/jcode · 9.1
K
kotaemon
Cinnamon·Python

开源的 RAG 文档问答工具,上传文档后即可用大模型对话检索,快速搭建私有知识库问答。

RAG+4
259030—
Cinnamon/kotaemon · 9.1
O
oumi
oumi-ai·Python

一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调(SFT/RL)、评测与部署,零代码也能上手。

零代码微调+4
94300—
oumi-ai/oumi · 9.01
L
LibreChat
LibreChat-AI·TypeScript

可自托管的多用户 AI 聊天平台,聚合 OpenAI、Anthropic、Gemini、DeepSeek 等多家模型,支持模型切换、Agent、MCP、代码解释器和消息搜索。

自托管聊天平台+4
469870—
LibreChat-AI/LibreChat · 8.92