高性能 AI 网关,用一套 OpenAI 兼容 API 统一接入上万模型,内置故障转移、负载均衡、语义缓存、虚拟密钥与预算管控,额外延迟低于 200µs。
用 Rust 写的开源 AI 网关,单二进制自带控制台,统一路由、鉴权、预算和观测 OpenAI、Anthropic、Gemini、Bedrock 等各家 LLM 调用。