在 Kubernetes 或 Docker 上部署无服务器函数,把容器打包成函数,按需自动扩缩容,省去管理底层基础设施的麻烦。
面向数据中心的分布式推理服务框架,用 Rust 编写,支持 vLLM、SGLang、TensorRT-LLM 等后端,解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。
面向 GPU 工作负载的无服务器平台,可快速部署推理服务、沙箱和后台任务,按需自动扩缩容,省去自建集群的运维成本。
一套开箱即用的 Kubernetes 平台脚手架,集成 ArgoCD、自动扩缩容、证书管理、服务网格与监控等组件,帮你快速搭好生产级集群基础设施。
在 Kubernetes 上部署和扩缩容 ML 模型推理服务的 Operator,支持 LLM、VLM、向量嵌入和语音转文字,并提供 OpenAI 兼容 API。