Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。
云原生一站式机器学习与大模型平台，覆盖 Notebook 开发、拖拉拽 Pipeline 编排、分布式训练、超参搜索、推理服务和 SFT/强化学习微调，支持国产算力生态。
面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。
给 LLM 推理加速的 KV Cache 层，可对接 vLLM 等框架，复用和缓存键值对来降低显存占用、提升吞吐，支持 CUDA 和 ROCm。
为容器提供用户态内核，在 Go 中实现 Linux 系统调用接口，让 Docker 和 Kubernetes 容器获得更强的安全隔离，同时保持 OCI 兼容。
… fix(core): reduce pinned pool fragmentation from RDMA fetch staging by @GentleCold in https://github.com/novitalabs/pegaflow/pull/465 perf(core): rotate pool shards per
…om/skypilot-org/skypilot/pull/10204)), and SR-IOV RDMA delivery on Kubernetes via kubernetes.rdma ([ 10554](https://github.com/skypilot-org/skypilot/pull/10554)). [New] [
…ies, such as Triton, TileLang, CuTe DSL, NCCL, or RDMA-related libraries. - This is a source release, not a prebuilt binary distribution. - No formal release workflow exi
…D分离部署配置简化和端口管理重构 5415 新增PD分离支持动态C8 IPC 5750 新增PD分离RDMA动态C8支持 5788 CUDA Graph相关功能 新增Qwen3-VL和Qwen3-VL MoE CUDA Graph支持 5962 新增reorder ids以分离prefill和decode请求的支持 5779 新增full
…优化初始化 - 优化默认值 - 修改初始化示例 - 任务模板添加初始化 TASK RESOURCE RDMA=0 环境变量 - 优化任务过期时间配置 - 优化报警描述 - 优化模板描述 十三、其他修复与优化 - 修复文字 Bug - 优化报错打印 - 去除非必要文件 - 优化端口暴露 - 优化模拟数据 - 去除 NXTime - 优化 A
…优化初始化 - 优化默认值 - 修改初始化示例 - 任务模板添加初始化 TASK RESOURCE RDMA=0 环境变量 - 优化任务过期时间配置 - 优化报警描述 - 优化模板描述 十三、其他修复与优化 - 修复文字 Bug - 优化报错打印 - 去除非必要文件 - 优化端口暴露 - 优化模拟数据 - 去除 NXTime - 优化 A