面向数据中心的分布式推理服务框架，用 Rust 编写，支持 vLLM、SGLang、TensorRT-LLM 等后端，解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。
在 Kubernetes 上统一部署生成式与预测式 AI 模型的推理平台，支持多框架、可扩展的分布式推理服务。
面向 LLM 推理服务的高性能 CUDA 内核库，提供注意力、MoE 等算子的 JIT 实现，用来加速 GPU 上的大模型推理。
在 Apple Silicon 上通过 MLX 框架运行大语言模型，支持加载、推理和微调，让 Mac 本地跑 LLM 更省心。
统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。
Kubernetes 上的 LeaderWorkerSet API，用来编排多机多卡的分布式推理工作负载，把大模型服务拆成 leader 和 worker 组统一调度。
把家里的多台设备连成集群来跑 LLM 推理，设备越多推理越快，用 C++ 实现分布式加速。
分布式模型服务框架，能把多台机器组成自建 AI 推理集群，用来跑 Llama、DeepSeek 等大模型。
面向交互式超级智能系统的高性能推理服务运行时，支持语音识别、音频与音乐生成等多模态模型，并提供 OpenAI 兼容 API。