面向 Agent 系统的模型路由网关,50ms 内把每个请求分派到最合适的模型,只改一个 endpoint 就能省下 40-70% 成本。
自托管的 LLM 网关,统一兼容 OpenAI、Claude、Gemini 等接口,提供模型路由、访问控制、用量统计与成本核算,方便团队集中管理和分发大模型调用。
在提示词里敲入 "mass ulw" 关键词,就能让 AI 编码助手自动编排多智能体工作流,把复杂开发任务拆解成可执行的图结构。
在 macOS 菜单栏里统一管理各家大模型的接入,让 Codex 跑在 DeepSeek 上、Claude Code 跑在 Kimi 上,省去逐个配置的麻烦。
能识别复杂表格、表单和手写内容的 OCR 模型,保留完整版面布局,适合把扫描件和图片转成结构化文本喂给 RAG 或文档解析流程。
把任意 LLM(Claude、Gemini、Grok、DeepSeek、Ollama 等)统一代理给 Codex CLI、App、SDK 和 Claude Code 使用,省去为每个模型单独适配的麻烦。
单次前向传播即可对任意文本做类型化选择、打分和是非判断的非自回归决策引擎,支持100多种语言,并按请求自动路由到合适的检查点。
把训练好的模型快速封装成推理 API 和任务队列,支持 LLM 应用与多模型流水线,省去自己搭服务框架的麻烦。
一个高性能 AI 网关,用统一 API 把请求路由到 1600+ 大模型,并内置 50+ 安全护栏,省去多模型接入和内容风控的重复开发。
统一接入 375 家模型供应商、1400+ 模型的 MIT 协议 AI 网关,配额感知自动降级,并用压缩省下 15-95% token,兼容 Claude Code、Cursor 等编码工具。
企业级多租户 LLM 网关,统一接入 200+ 模型和 35+ 供应商,带负载均衡、计费订阅和成本管理,适合团队统一管理 AI 调用。
….v0.4.3) (2026-11-09) ✨ Features (新功能) routing: 新增模型路由与结构化相机控制(M0.4.3) ([4927378](https://github.com/neopen/story-shot-agent/commit/4927378e44962e0dd200c03353912f6a06d8b1
…型的配额与路由 账号、权限模板和 Key 支持按模型配额、时间窗内的请求数和 token 上限,以及模型路由( 1168)。 进行中的请求计入 Key 的预算( 1215)。 4. 路由与调度 虚拟模型: 一个模型名可以在多个渠道分组之间回退( 1223)。 路由模拟: 按阶段、按凭据看一个请求会走到哪里( 1220);每个请求都会记录路
…输入校验、更新器在超时与取消时接管安装进程树、发布年龄排除合并为一条区间、effort 选项取自当前模型路由、保留会话 effort 并给 TPS 采样设下限、暴露写入锁。([ 1655](https://github.com/ccch1mneyyy/dsh-TUI/pull/1655)、[ 1679](https://github.co
…看过程”;重启后 Worker 面板可从团队记录恢复;超出步数或时间预算时显示真实原因和用量。 - 模型路由与网关 :本地网关开关热应用时同步路由与网关全局配置,不再停在“等待同步”;多供应商和路由池在流式请求、重试与切换时校验路由代次,失败信息区分请求是否已发出;运行时覆盖凭据随供应商切换重新迁移。 - 运行时与协议兼容 :修复代理返回
…供应商与模型配置 :模型目录刷新保留账号作用域元数据、用户价格与限制,失效模型引用可逐项修复。修复空模型路由进入运行时配置、原生登录识别和模型目录加载问题;网关近期路由可跨重启保留,多实例发现文件与长轮询更可靠。 - 用量与工具详情 :第三方 Agent 的模型调用、用量与缓存按实际调用记录,原生和 ACP Agent 使用统一工具详情。