在 Kubernetes 或 Docker 上部署无服务器函数,把容器打包成函数,按需自动扩缩容,省去管理底层基础设施的麻烦。
面向数据中心的分布式推理服务框架,用 Rust 编写,支持 vLLM、SGLang、TensorRT-LLM 等后端,解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。