高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。
本地一键跑起 Kimi、DeepSeek、Qwen、Gemma 等大模型，省去环境配置和依赖折腾，适合快速做推理和原型验证。
统一加载和运行文本、视觉、音频、多模态的预训练模型，覆盖推理与训练，省去为每个模型重写代码的麻烦。
面向数据中心的分布式推理服务框架，用 Rust 编写，支持 vLLM、SGLang、TensorRT-LLM 等后端，解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。
一行代码就能把 GPT 换成任意开源大模型，统一推理 API 支持云端、本地和笔记本部署，覆盖语言、语音和多模态模型。
统一管理 GPU 集群，调度 vLLM、SGLang 等推理引擎做高性能模型服务，还能按需开出可 SSH 登录的 GPU 实例。
Mooncake 是支撑 Kimi 大模型服务的推理平台，通过 KVCache 分离式架构和 RDMA 高速传输，把预填充与解码拆开部署，提升长上下文场景下的吞吐和资源利用率。
面向大模型后训练的强化学习框架，用混合编程模型把 RLHF 训练流程编排得灵活又高效，方便扩展和跑大规模实验。
开源的高质量语音合成模型，基于 VQGAN 和 Llama 架构，支持多语言文本转语音，效果达到 SOTA 水平。
开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
用 Rust 写的终端编码 Agent，可接入任意模型提供商，在命令行里直接完成代码编写与多 Agent 编排任务。
开源手机智能体模型与框架，让 AI 直接操作手机界面完成点按、输入等任务，把「AI 手机」能力开放给所有人。
跨平台桌面标注工具，支持文本、图像、视频、点云和多模态数据，内置 AI 模型辅助预标注，可导出多种格式。
…--- Muse Spark Open LLM / VLM [link](https://docs.sglang.io/cookbook/autoregressive/Meta/MuseSparkOpen) Beam-1.0 LLM / VLM [link](https://docs.sglang.io/cookbook/autoregr
… @charliechenye in https://github.com/sgl-project/sglang-omni/pull/2260 [Perf][CosyVoice3] Skip Unused Native DiT Compile and CUDA Graph Capture on Packed Route by @charl
… by @luojiaxuan in https://github.com/sgl-project/sglang-omni/pull/2692 [Benchmark] register FDB v1.0 in the fdb runbook by @luojiaxuan in https://github.com/sgl-project/
…- Clef / Clef Flash LLM / VLM [link](https://docs.sglang.io/cookbook/autoregressive/Cloudflare/clef) PPLX-Decider v1 / v1.1 LLM / VLM [link](https://docs.sglang.io/cookbo
…DeepSeek-V4.1 Flash LLM / VLM [link](https://docs.sglang.io/cookbook/autoregressive/DeepSeek/DeepSeek-V4 1) GigaChat 3.5 LLM / VLM [link](https://docs.sglang.io/cookbook/
… in this release (see the [cookbook](https://docs.sglang.io/cookbook) for all supported models): Model Type PRs Cookbook --- --- --- --- Qwen3.8 (2.4T-A95B) Autoregressiv