OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「LLM 路由」找到 69 个结果 · 19ms命中词:路由llmrouterroutingrouter* routing*只看有点评
L
litellm
BerriAI·Python

统一调用 100+ 家 LLM API 的 AI 网关,用 OpenAI 格式或原生格式接入,自带成本追踪、限流护栏、负载均衡和日志。

AI 网关+4
630950—
BerriAI/litellm · 19.74
S
semantic-router
vllm-project·Go

面向 LLM 推理的可编程语义路由层,按请求语义把流量分发到不同模型和算力,并内置护栏与 K8s 集成。

语义路由+4
64510—
vllm-project/semantic-router · 18.86
L
llmware
llmware-ai·Python

用小型专用模型搭建企业级 RAG 流水线的统一框架,覆盖文档解析、检索和智能体编排,适合在本地或私有环境部署。

RAG流水线+4
148220—
llmware-ai/llmware · 17.74
A
anything-llm
Mintplex-Labs·JavaScript

本地优先的 AI 智能体工作台,把文档、对话和工具整合成可私有部署的知识库与代理,数据留在自己机器上,不用租用云端智能服务。

本地AI+4
681750—
Mintplex-Labs/anything-llm · 17.4
9
9router
decolua·JavaScript

把 Claude Code、Cursor、Copilot 等编程助手接到 40+ 家免费模型供应商的 AI 网关,支持自动故障切换和 RTK 省 token,避免额度耗尽。

AI 网关+4
322590—
decolua/9router · 16.82
K
kong
Kong·Lua

云原生 API 网关,同时充当 LLM 与 AI 服务的统一入口,集中处理路由、鉴权、限流和可观测性。

API 网关+4
443760—
Kong/kong · 12.7
N
new-api
QuantumNous·Go

自托管的 LLM 网关,统一兼容 OpenAI、Claude、Gemini 等接口,提供模型路由、访问控制、用量统计与成本核算,方便团队集中管理和分发大模型调用。

LLM 网关+4
517470—
QuantumNous/new-api · 12.2
G
gateway
Portkey-AI·TypeScript

一个高性能 AI 网关,用统一 API 把请求路由到 1600+ 大模型,并内置 50+ 安全护栏,省去多模型接入和内容风控的重复开发。

AI 网关+4
133650—
Portkey-AI/gateway · 12.2
M
magpie
yetone·Go

在 macOS 菜单栏里统一管理各家大模型的接入,让 Codex 跑在 DeepSeek 上、Claude Code 跑在 Kimi 上,省去逐个配置的麻烦。

模型路由+4
344190—
yetone/magpie · 12.09
A
apisix
apache·Lua

云原生 API 网关,基于 LuaJIT 提供高性能路由、负载均衡和 Kubernetes Ingress,并支持 AI 网关场景,适合统一管理微服务与 AI 流量。

API 网关+4
173120—
apache/apisix · 12.01
P
plano
katanemo·Rust

面向智能体应用的 AI 原生代理服务器和数据平面,提供 LLM 智能路由、可观测性、编排与护栏,让开发者专注核心逻辑。

LLM 网关+4
71140—
katanemo/plano · 11.71
T
tyk
TykTechnologies·Go

开源 API 与 AI 网关,统一代理 REST、GraphQL、TCP、gRPC 和 MCP 流量,帮你在微服务和 LLM 调用前做路由、鉴权与限流。

API 网关+4
108810—
TykTechnologies/tyk · 11.69
C
coai
coaidev·TypeScript

企业级多租户 LLM 网关,统一接入 200+ 模型和 35+ 供应商,带负载均衡、计费订阅和成本管理,适合团队统一管理 AI 调用。

LLM 网关+4
93460—
coaidev/coai · 11.68
A
agentgateway
agentgateway·Rust

面向 AI Agent 和 MCP 服务器的下一代代理网关,用 Rust 编写,把 Agent 与模型、工具之间的流量统一接入、路由和管控。

AI 网关+4
61160—
agentgateway/agentgateway · 11.41
O
opencodex
lidge-jun·TypeScript

把任意 LLM(Claude、Gemini、Grok、DeepSeek、Ollama 等)统一代理给 Codex CLI、App、SDK 和 Claude Code 使用,省去为每个模型单独适配的麻烦。

LLM 代理+4
183800—
lidge-jun/opencodex · 11.34
C
cc-switch
farion1231·Rust

跨平台桌面客户端,把 Claude Code、Codex、OpenCode、DeepSeek Harness 等多个 AI 编程助手集中到一个界面里统一管理和切换,省去来回折腾配置。

AI 编程助手+4
1535600—
farion1231/cc-switch · 11.28
D
dynamo
ai-dynamo·Rust

面向数据中心的分布式推理服务框架,用 Rust 编写,支持 vLLM、SGLang、TensorRT-LLM 等后端,解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。

分布式推理+4
84690—
ai-dynamo/dynamo · 11.28
H
haystack
deepset-ai·Python

开源 LLM 应用编排框架,用模块化管道和智能体工作流显式控制检索、路由、记忆与生成,适合搭建 RAG、语义搜索和多模态对话系统。

RAG 框架+4
269890—
deepset-ai/haystack · 11.25
H
higress
higress-group·Go

基于 Envoy 的云原生 AI 网关,统一代理和路由大模型 API 与微服务流量,支持 AI 原生插件扩展。

AI 网关+4
97490—
higress-group/higress · 11.2
A
autogen
microsoft·Python

微软开源的多智能体编程框架,让开发者用对话编排多个 LLM Agent 协作完成复杂任务,支持自定义角色与工具调用。

多智能体+4
617830—
microsoft/autogen · 11.06
P
pdf-inspector
firecrawl·Rust

用 Rust 写的高性能 PDF 解析库,能快速判断 PDF 是扫描件还是文本型并抽取文字,方便后续决定走 OCR 还是直接解析。

PDF解析+4
199930—
firecrawl/pdf-inspector · 11.02
P
PaddleOCR
PaddlePaddle·Python

轻量级 OCR 工具包,能把图片和 PDF 转成结构化数据,支持 100 多种语言,方便接入 LLM 和 RAG 流程。

OCR+4
925710—
PaddlePaddle/PaddleOCR · 10.97
D
dsh-our-free-model
Ebony-Vinyl·JavaScript

给 dsh 装个插件就能免登录、免 API Key 直接用 DeepSeek V4.1 Flash、Kimi K3 等前沿大模型,完全免费且不限量。

免费大模型+4
694870—
Ebony-Vinyl/dsh-our-free-model · 10.87
J
jan
janhq·Rust

在本地电脑上离线运行大模型的桌面客户端,是 ChatGPT 的开源替代品,无需联网即可对话,数据不出本机。

本地推理+4
456680—
janhq/jan · 10.86
R
ray
ray-project·Python

分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。

分布式计算+4
442560—
ray-project/ray · 10.83
L
LocalAI
mudler·Go

开源本地 AI 推理引擎,无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型,提供兼容 OpenAI 的 API。

推理引擎+4
503120—
mudler/LocalAI · 10.79
Q
QwenPaw
agentscope-ai·TypeScript

开箱即用的个人 AI 助手,可本地或云端部署,接入多种聊天应用,并通过 MCP 与工具扩展能力。

个人助手+4
376140—
agentscope-ai/QwenPaw · 10.72
O
onyx
onyx-dot-app·Python

开箱即用的开源 AI 对话平台,支持接入任意 LLM,内置 RAG 与企业级搜索,适合团队自建带知识库的聊天助手。

AI 对话平台+4
333340—
onyx-dot-app/onyx · 10.72
R
Reticulum
markqvist·Python

基于密码学的自组网网络栈,能在 LoRa、分组无线电、WiFi 等任意链路上搭建去中心化、抗中断的网状网络。

网状网络+4
77000—
markqvist/Reticulum · 10.66
O
one-api
songquanpeng·JavaScript

把 OpenAI、Claude、Gemini、通义千问等十几家主流大模型统一到一个 API 下,方便做密钥管理和二次分发,单文件部署开箱即用。

LLM API 网关+4
374020—
songquanpeng/one-api · 10.66
L
langwatch
langwatch·TypeScript

面向 AI 平台团队的开源 Agent 可观测与评测平台,能追踪、测试、路由并治理公司内每个 Agent 和编码助手。

Agent 可观测+4
50250—
langwatch/langwatch · 10.64
O
openai-agents-python
openai·Python

轻量级 Python 框架,用于编排多智能体工作流,帮助开发者快速搭建基于 LLM 的协作式 Agent 系统。

多智能体+4
306110—
openai/openai-agents-python · 10.63
O
OmniRoute
cheaper-inference·TypeScript

统一接入 375 家模型供应商、1400+ 模型的 MIT 协议 AI 网关,配额感知自动降级,并用压缩省下 15-95% token,兼容 Claude Code、Cursor 等编码工具。

AI 网关+4
864050—
cheaper-inference/OmniRoute · 10.52
M
mlflow
mlflow·Python

开源 AI 工程平台,覆盖智能体、大模型和传统机器学习,帮团队调试、评估、监控和优化生产级 AI 应用,同时控制成本并管理模型与数据访问权限。

实验管理+4
287610—
mlflow/mlflow · 10.52
A
adk-python
google·Python

用 Python 以代码优先的方式构建、评测和部署复杂 AI Agent 的开源工具包,让开发者对 Agent 行为有更强的灵活性和控制力。

Agent 框架+4
221780—
google/adk-python · 10.52
M
milvus
milvus-io·Go

高性能云原生向量数据库,专为大规模向量近似最近邻检索设计,适合搭建以图搜图、语义搜索和 RAG 等应用。

向量数据库+4
466400—
milvus-io/milvus · 10.48
C
CopilotKit
CopilotKit·TypeScript

面向 Agent 与生成式 UI 的前端技术栈,支持 React、Angular、移动端和 Slack,让开发者快速把 AI 助手嵌入应用界面。

生成式UI+4
386310—
CopilotKit/CopilotKit · 10.46
J
JARVIS
microsoft·Python

把大语言模型和 Hugging Face 上的各类模型连起来,让 LLM 自动挑选、调用合适的模型完成多模态任务,相当于给模型加了个调度中枢。

模型调度+4
256090—
microsoft/JARVIS · 10.45
P
python-sdk
modelcontextprotocol·Python

Model Context Protocol 官方 Python SDK,用来快速搭建 MCP 服务端和客户端,让大模型应用以统一协议接入外部工具与数据源。

MCP+4
248310—
modelcontextprotocol/python-sdk · 10.43
M
mcp-toolbox
googleapis·Go

面向数据库的开源 MCP 服务器,让 AI 代理和 LLM 通过统一协议安全访问 BigQuery、ClickHouse、Elasticsearch 等多种数据源。

MCP 服务器+4
168360—
googleapis/mcp-toolbox · 10.39

发布说明里提到「LLM 路由」

来自 6 个版本
  • Calcium-Ion/AstrLinkv0.2.222026-11-10

    …超时,记录一条也没删掉 重新配置 DeepSeek Harness 时,手动加在 AstrLink 路由里的 compat 等设置被覆盖 特制的 brotli 压缩数据会让 AstrLink 占用过多内存 English Fixes Purging a large request history timed out and deleted

  • farion1231/cc-switchv4.0.292026-11-10

    …Codex 桌面版在 WSL 里运行 Codex 时,用第三方供应商启动就报错;Codex 新对话经路由连第三方原生 Responses 上游报 400;Codex 经路由连 Anthropic 格式上游时,长回答被 8192 的输出上限截断;Codex 官方卡在路由模式下拿不到账号自己的模型列表等问题。 [English →](http

  • NanmiCoder/cc-hahav0.7.82026-11-10

    …思考不再卡顿、Markdown 不闪烂,并修复了跨会话消息串台、超大消息静默丢失、编辑供应商悄悄改动路由等一批问题。新增 Claude Fable 5.2,微信支持媒体投递与断线恢复。手机 App 升级到 0.1.4。 核心功能 - 外出连接更稳 ( 1862):设置 → 手机连接 → 外出连接新增「外出时保持电脑唤醒」开关,默认开启,连

  • langbot-app/LangBotv4.11.52026-11-10

    …nitoring / 监控 :记录插件处理的消息、被流水线规则丢弃的阶段,以及插件在流水线外发起的 LLM 调用。Monitoring shows plugin-handled messages, the rule stage that dropped a message, and plugin LLM calls outside a p

  • neopen/story-shot-agentv0.4.32026-11-09

    …0.4.3) (2026-11-09) ✨ Features (新功能) routing: 新增模型路由与结构化相机控制(M0.4.3) ([4927378](https://github.com/neopen/story-shot-agent/commit/4927378e44962e0dd200c03353912f6a06d8b1cc

  • farion1231/cc-switchv4.0.282026-11-08

    …:能查看,不能继续,继续时提示「模型提供商不匹配」。要来回切换并继续旧会话,有两个办法: 1. 改用路由或聚合模式 :本版本起,路由或聚合模式下切到第三方,会话和官方订阅留在同一组,来回切换都能继续。 2. 打开「统一 Codex 会话历史」 (「设置 → 应用配置 → Codex」):官方和第三方的会话归到同一组,直连模式下也能来回切换