推理与服务

给 Grok2API 和 CPA 的出站链路加质量守卫，通过代理恢复、隔离、迁移和运维界面，解决代理不稳定导致的请求失败问题。

自托管的 OpenAI 兼容 LLM 网关，统一接入多家模型供应商，支持故障转移、密钥轮换和内置管理后台，帮团队稳定调度模型请求。

在 Kubernetes 上部署大模型推理的简易平台，支持 vLLM、SGLang、llama.cpp 等多种后端，帮你在集群里轻松跑起推理服务。

用 Go 写的轻量级 GPU 资源管理器，控制哪些应用能占用 GPU、何时占用以及如何交接，适合本地跑多个 LLM 推理服务时排队调度。

ai-gateway

ferro-labs·Go

Go 编写的高性能 AI 网关，统一接入 30+ 家 LLM 服务商，内置缓存、护栏、A/B 测试和成本控制，可替代 LiteLLM 与 Kong AI Gateway。

把 IP:Port 快速识别成 Ollama、vLLM、LiteLLM 等 60 多种大模型推理服务，用于资产测绘和攻击面排查。