把 Claude Code、Cursor、Copilot 等编程助手接到 40+ 家免费模型供应商的 AI 网关,支持自动故障切换和 RTK 省 token,避免额度耗尽。
统一接入 375 家模型供应商、1400+ 模型的 MIT 协议 AI 网关,配额感知自动降级,并用压缩省下 15-95% token,兼容 Claude Code、Cursor 等编码工具。
一款用 Go 编写的高性能反向代理,能把 NAT 或防火墙后面的本地服务安全暴露到公网,常用于内网穿透和远程访问。
云原生 API 网关,基于 LuaJIT 提供高性能路由、负载均衡和 Kubernetes Ingress,并支持 AI 网关场景,适合统一管理微服务与 AI 流量。
单次前向传播即可对任意文本做类型化选择、打分和是非判断的非自回归决策引擎,支持100多种语言,并按请求自动路由到合适的检查点。
用 Rust 写的 AI Agent 开放运行时,统一托管多智能体、MCP 网关和权限管控,省去自己搭调度与安全层的麻烦。
开源 LLM 应用编排框架,用模块化管道和智能体工作流显式控制检索、路由、记忆与生成,适合搭建 RAG、语义搜索和多模态对话系统。
企业级多租户 LLM 网关,统一接入 200+ 模型和 35+ 供应商,带负载均衡、计费订阅和成本管理,适合团队统一管理 AI 调用。
基于 Envoy 的云原生 AI 网关,统一代理和路由大模型 API 与微服务流量,支持 AI 原生插件扩展。
用 Rust 写的高性能轻量反向代理,专门做 NAT 穿透和内网服务暴露,可以当作 frp 和 ngrok 的替代品。
面向 React 的生成式 UI SDK,让 AI Agent 根据对话内容动态渲染界面组件,适合构建智能助手和聊天式交互应用。
基于 Python 的翻墙代理工具,整合 GoAgent 等模块,帮你在网络受限环境下稳定访问被屏蔽的网站。
面向数据中心的分布式推理服务框架,用 Rust 编写,支持 vLLM、SGLang、TensorRT-LLM 等后端,解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。
轻量级 Python 框架,用于编排多智能体工作流,帮助开发者快速搭建基于 LLM 的协作式 Agent 系统。
把大语言模型和 Hugging Face 上的各类模型连起来,让 LLM 自动挑选、调用合适的模型完成多模态任务,相当于给模型加了个调度中枢。
把 FastAPI 接口一键暴露成 MCP 工具,自带认证授权,让 Claude、Cursor 等 LLM 客户端直接调用你的后端服务。
面向云端和数据中心的高性能推理服务端,支持多种深度学习框架模型部署,并可在边缘设备上运行。
开源自托管的告警平台,统一处理指标、日志和数据库告警,内置 AI Agent 与 MCP Server,适合搭建可观测性告警体系。
一行代码接入的 LLM 可观测性平台,能监控大模型调用、追踪成本与延迟,并支持评估和实验对比,方便排查线上问题。
开箱即用的浏览器沙箱 API,让 AI Agent 和应用直接调用无头浏览器完成网页自动化,省去自建基础设施的麻烦。
基于身份和上下文的零信任访问代理,用统一身份认证替代传统 VPN,按用户身份和设备状态动态控制内网应用访问。
…weekly component versions Package Version --- --- tokenspeed-mla [0.2.16](https://pypi.org/project/tokenspeed-mla/0.2.16/) tokenspeed-scheduler [0.1.25](https://pypi.org/
…@musicinmybrain in https://github.com/huggingface/tokenizers/pull/2050 Ci test fixes by @sebpop in https://github.com/huggingface/tokenizers/pull/2079 Avoid full vocab cl
…metadata preservation, Codex image capability and token renewal, DeepSeek V4 Pro Responses routing, durable background Responses execution, Anthropic bearer authenticatio
…Cat by @zhyncs in https://github.com/lightseekorg/tokenspeed/pull/1 Update README by @lightseek-bot in https://github.com/lightseekorg/tokenspeed/pull/2 Add PyTorch index
What's Changed chore: Daily token price update (23-05-2025) by @github-actions in https://github.com/AgentOps-AI/tokencost/pull/130 chore: Daily token price update (24-05
What's Changed chore: Daily token price update (12-05-2025) by @github-actions in https://github.com/AgentOps-AI/tokencost/pull/118 Add support for cached tokens in the c