OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「LLM 路由」找到 106 个结果 · 24ms命中词:路由llmrouterroutingrouter* routing*只看有点评
L
litellm
BerriAI·Python

统一调用 100+ 家 LLM API 的 AI 网关,用 OpenAI 格式或原生格式接入,自带成本追踪、限流护栏、负载均衡和日志。

AI 网关+4
630760—
BerriAI/litellm · 19.75
S
semantic-router
vllm-project·Go

面向 LLM 推理的可编程语义路由层,按请求语义把流量分发到不同模型和算力,并内置护栏与 K8s 集成。

语义路由+4
64490—
vllm-project/semantic-router · 19.38
L
llmware
llmware-ai·Python

用小型专用模型搭建企业级 RAG 流水线的统一框架,覆盖文档解析、检索和智能体编排,适合在本地或私有环境部署。

RAG流水线+4
148230—
llmware-ai/llmware · 17.69
A
anything-llm
Mintplex-Labs·JavaScript

本地优先的 AI 智能体工作台,把文档、对话和工具整合成可私有部署的知识库与代理,数据留在自己机器上,不用租用云端智能服务。

本地AI+4
681630—
Mintplex-Labs/anything-llm · 17.29
9
9router
decolua·JavaScript

把 Claude Code、Cursor、Copilot 等编程助手接到 40+ 家免费模型供应商的 AI 网关,支持自动故障切换和 RTK 省 token,避免额度耗尽。

AI 网关+4
322420—
decolua/9router · 16.7
A
agent-router
theagentrouter·Go

基于 Envoy Gateway 构建的生成式 AI 统一接入网关,把各家 LLM 和推理服务的调用收敛到一套路由与鉴权入口,方便在 Kubernetes 上统一管理。

AI 网关+4
23820—
theagentrouter/agent-router · 14.16
L
llmgateway
theopenco·TypeScript

统一 API 接入多家大模型服务商,集中路由、管理并分析 LLM 请求,省去逐个对接和维护密钥的麻烦。

LLM 网关+4
17360—
theopenco/llmgateway · 13.93
O
OrcaRouter-Lite
Continuum-AI-Corp·Python

自托管的 LLM 路由网关,兼容 OpenAI 接口,支持自带密钥和多模型流式转发,帮你在本地统一接入各家大模型 API。

LLM 路由+4
17440—
Continuum-AI-Corp/OrcaRouter-Lite · 13.75
L
litellm-agent-control-plane
LiteLLM-Labs·Rust

统一接入 OpenCode、Claude、Cursor 等多家编码 Agent 的控制平面,用一个入口调度和路由不同 Agent,省去逐个对接的麻烦。

Agent 控制平面+4
13300—
LiteLLM-Labs/litellm-agent-control-plane · 13.29
K
kong
Kong·Lua

云原生 API 网关,同时充当 LLM 与 AI 服务的统一入口,集中处理路由、鉴权、限流和可观测性。

API 网关+4
443780—
Kong/kong · 12.75
L
llmio
atopos31·Go

统一的多模型 LLM 网关,把 Claude、Gemini、DeepSeek 等上游统一接入,提供权重负载均衡、可观测性和调用费用追踪,适合多模型混用场景。

LLM 网关+4
3240—
atopos31/llmio · 12.32
G
gateway
Portkey-AI·TypeScript

一个高性能 AI 网关,用统一 API 把请求路由到 1600+ 大模型,并内置 50+ 安全护栏,省去多模型接入和内容风控的重复开发。

AI 网关+4
133630—
Portkey-AI/gateway · 12.27
H
higress
higress-group·Go

基于 Envoy 的云原生 AI 网关,统一代理和路由大模型 API 与微服务流量,支持 AI 原生插件扩展。

AI 网关+4
97490—
higress-group/higress · 12.2
N
new-api
QuantumNous·Go

自托管的 LLM 网关,统一兼容 OpenAI、Claude、Gemini 等接口,提供模型路由、访问控制、用量统计与成本核算,方便团队集中管理和分发大模型调用。

LLM 网关+4
517230—
QuantumNous/new-api · 12.2
M
magpie
yetone·Go

在 macOS 菜单栏里统一管理各家大模型的接入,让 Codex 跑在 DeepSeek 上、Claude Code 跑在 Kimi 上,省去逐个配置的麻烦。

模型路由+4
340960—
yetone/magpie · 12.1
A
apisix
apache·Lua

云原生 API 网关,基于 LuaJIT 提供高性能路由、负载均衡和 Kubernetes Ingress,并支持 AI 网关场景,适合统一管理微服务与 AI 流量。

API 网关+4
173110—
apache/apisix · 12.05
P
plano
katanemo·Rust

面向智能体应用的 AI 原生代理服务器和数据平面,提供 LLM 智能路由、可观测性、编排与护栏,让开发者专注核心逻辑。

LLM 网关+4
71140—
katanemo/plano · 11.96
D
dynamo
ai-dynamo·Rust

面向数据中心的分布式推理服务框架,用 Rust 编写,支持 vLLM、SGLang、TensorRT-LLM 等后端,解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。

分布式推理+4
84670—
ai-dynamo/dynamo · 11.84
C
coai
coaidev·TypeScript

企业级多租户 LLM 网关,统一接入 200+ 模型和 35+ 供应商,带负载均衡、计费订阅和成本管理,适合团队统一管理 AI 调用。

LLM 网关+4
93460—
coaidev/coai · 11.75
T
tyk
TykTechnologies·Go

开源 API 与 AI 网关,统一代理 REST、GraphQL、TCP、gRPC 和 MCP 流量,帮你在微服务和 LLM 调用前做路由、鉴权与限流。

API 网关+4
108810—
TykTechnologies/tyk · 11.72
Y
yolorouter
yolorouter·Go

自托管的 OpenAI 兼容 LLM 网关,统一接入多家模型供应商,支持故障转移、密钥轮换和内置管理后台,帮团队稳定调度模型请求。

LLM 网关+4
3180—
yolorouter/yolorouter · 11.57
O
opencodex
lidge-jun·TypeScript

把任意 LLM(Claude、Gemini、Grok、DeepSeek、Ollama 等)统一代理给 Codex CLI、App、SDK 和 Claude Code 使用,省去为每个模型单独适配的麻烦。

LLM 代理+4
183720—
lidge-jun/opencodex · 11.33
U
uncensored-ai-api
routerhubSI

一个统一 API 网关,用一把密钥即可调用 Claude、GPT、Gemini、Grok、DeepSeek 等主流大模型,并提供无审查、去对齐变体,兼容 OpenAI 与 Anthropic 接口,按 token 计费。

API 网关+4
3640—
routerhubSI/uncensored-ai-api · 11.27
H
haystack
deepset-ai·Python

开源 LLM 应用编排框架,用模块化管道和智能体工作流显式控制检索、路由、记忆与生成,适合搭建 RAG、语义搜索和多模态对话系统。

RAG 框架+4
269850—
deepset-ai/haystack · 11.22
C
cc-switch
farion1231·Rust

跨平台桌面客户端,把 Claude Code、Codex、OpenCode、DeepSeek Harness 等多个 AI 编程助手集中到一个界面里统一管理和切换,省去来回折腾配置。

AI 编程助手+4
1534410—
farion1231/cc-switch · 11.09
A
autogen
microsoft·Python

微软开源的多智能体编程框架,让开发者用对话编排多个 LLM Agent 协作完成复杂任务,支持自定义角色与工具调用。

多智能体+4
617770—
microsoft/autogen · 11.01
P
pdf-inspector
firecrawl·Rust

用 Rust 写的高性能 PDF 解析库,能快速判断 PDF 是扫描件还是文本型并抽取文字,方便后续决定走 OCR 还是直接解析。

PDF解析+4
199900—
firecrawl/pdf-inspector · 10.97
L
langwatch
langwatch·TypeScript

面向 AI 平台团队的开源 Agent 可观测与评测平台,能追踪、测试、路由并治理公司内每个 Agent 和编码助手。

Agent 可观测+4
50230—
langwatch/langwatch · 10.94
A
Agent-Reach
Panniantong·Python

一条命令行就能让 AI 智能体读取和搜索 Twitter、Reddit、YouTube、GitHub、B站、小红书等平台内容,不用付任何 API 费用。

AI智能体+4
1109540—
Panniantong/Agent-Reach · 10.89
P
PaddleOCR
PaddlePaddle·Python

轻量级 OCR 工具包,能把图片和 PDF 转成结构化数据,支持 100 多种语言,方便接入 LLM 和 RAG 流程。

OCR+4
925520—
PaddlePaddle/PaddleOCR · 10.88
G
gpt-load
tbphp·Go

自托管的 AI 网关,把多个渠道的 API 密钥和订阅账号统一接入,提供调度、故障转移、请求日志与用量统计,适合集中管理 LLM 调用。

AI 网关+4
72090—
tbphp/gpt-load · 10.84
B
bifrost
maximhq·Go

高性能 AI 网关,用一套 OpenAI 兼容 API 统一接入上万模型,内置故障转移、负载均衡、语义缓存、虚拟密钥与预算管控,额外延迟低于 200µs。

AI 网关+4
94890—
maximhq/bifrost · 10.81
J
jan
janhq·Rust

在本地电脑上离线运行大模型的桌面客户端,是 ChatGPT 的开源替代品,无需联网即可对话,数据不出本机。

本地推理+4
456680—
janhq/jan · 10.8
D
dsh-our-free-model
Ebony-Vinyl·JavaScript

给 dsh 装个插件就能免登录、免 API Key 直接用 DeepSeek V4.1 Flash、Kimi K3 等前沿大模型,完全免费且不限量。

免费大模型+4
690110—
Ebony-Vinyl/dsh-our-free-model · 10.79
R
ray
ray-project·Python

分布式 AI 计算引擎,提供核心分布式运行时和一组 AI 库,用来加速机器学习负载、大模型推理与超参搜索。

分布式计算+4
442520—
ray-project/ray · 10.78
L
LocalAI
mudler·Go

开源本地 AI 推理引擎,无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型,提供兼容 OpenAI 的 API。

推理引擎+4
503020—
mudler/LocalAI · 10.72
O
onyx
onyx-dot-app·Python

开箱即用的开源 AI 对话平台,支持接入任意 LLM,内置 RAG 与企业级搜索,适合团队自建带知识库的聊天助手。

AI 对话平台+4
333300—
onyx-dot-app/onyx · 10.68
Q
QwenPaw
agentscope-ai·TypeScript

开箱即用的个人 AI 助手,可本地或云端部署,接入多种聊天应用,并通过 MCP 与工具扩展能力。

个人助手+4
375950—
agentscope-ai/QwenPaw · 10.66
O
one-api
songquanpeng·JavaScript

把 OpenAI、Claude、Gemini、通义千问等十几家主流大模型统一到一个 API 下,方便做密钥管理和二次分发,单文件部署开箱即用。

LLM API 网关+4
374020—
songquanpeng/one-api · 10.6
O
openai-agents-python
openai·Python

轻量级 Python 框架,用于编排多智能体工作流,帮助开发者快速搭建基于 LLM 的协作式 Agent 系统。

多智能体+4
306040—
openai/openai-agents-python · 10.58

发布说明里提到「LLM 路由」

来自 6 个版本
  • Calcium-Ion/AstrLinkv0.2.222026-11-10

    …超时,记录一条也没删掉 重新配置 DeepSeek Harness 时,手动加在 AstrLink 路由里的 compat 等设置被覆盖 特制的 brotli 压缩数据会让 AstrLink 占用过多内存 English Fixes Purging a large request history timed out and deleted

  • farion1231/cc-switchv4.0.292026-11-10

    …Codex 桌面版在 WSL 里运行 Codex 时,用第三方供应商启动就报错;Codex 新对话经路由连第三方原生 Responses 上游报 400;Codex 经路由连 Anthropic 格式上游时,长回答被 8192 的输出上限截断;Codex 官方卡在路由模式下拿不到账号自己的模型列表等问题。 [English →](http

  • NanmiCoder/cc-hahav0.7.82026-11-10

    …思考不再卡顿、Markdown 不闪烂,并修复了跨会话消息串台、超大消息静默丢失、编辑供应商悄悄改动路由等一批问题。新增 Claude Fable 5.2,微信支持媒体投递与断线恢复。手机 App 升级到 0.1.4。 核心功能 - 外出连接更稳 ( 1862):设置 → 手机连接 → 外出连接新增「外出时保持电脑唤醒」开关,默认开启,连

  • langbot-app/LangBotv4.11.52026-11-10

    …nitoring / 监控 :记录插件处理的消息、被流水线规则丢弃的阶段,以及插件在流水线外发起的 LLM 调用。Monitoring shows plugin-handled messages, the rule stage that dropped a message, and plugin LLM calls outside a p

  • neopen/story-shot-agentv0.4.32026-11-09

    …0.4.3) (2026-11-09) ✨ Features (新功能) routing: 新增模型路由与结构化相机控制(M0.4.3) ([4927378](https://github.com/neopen/story-shot-agent/commit/4927378e44962e0dd200c03353912f6a06d8b1cc

  • farion1231/cc-switchv4.0.282026-11-08

    …:能查看,不能继续,继续时提示「模型提供商不匹配」。要来回切换并继续旧会话,有两个办法: 1. 改用路由或聚合模式 :本版本起,路由或聚合模式下切到第三方,会话和官方订阅留在同一组,来回切换都能继续。 2. 打开「统一 Codex 会话历史」 (「设置 → 应用配置 → Codex」):官方和第三方的会话归到同一组,直连模式下也能来回切换