开源推理研究平台，用于在 AMD、CUDA 等不同 GPU 上对 LLM 推理服务做基准测试和性能对比，帮团队选型加速卡。

在 Kubernetes 上统一部署生成式与预测式 AI 模型的推理平台，支持多框架、可扩展的分布式推理服务。

Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。

基于 Kubernetes 的云原生 AI 训练与推理平台，集成 Jupyter、PyTorch、Ray、LLaMA-Factory 等组件，帮团队在集群上统一管理深度学习环境的构建与任务调度。

在 Kubernetes 上部署大模型推理的简易平台，支持 vLLM、SGLang、llama.cpp 等多种后端，帮你在集群里轻松跑起推理服务。