面向大语言模型的高吞吐、低显存推理与服务引擎，通过 PagedAttention 等优化显著提升并发吞吐并降低显存占用，适合部署在线推理服务。
NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
汇集大模型技术原理与实战经验的开源知识库，覆盖训练、推理、部署和工程化落地全流程，适合系统学习大模型应用开发。
用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
面向数据中心的分布式推理服务框架，用 Rust 编写，支持 vLLM、SGLang、TensorRT-LLM 等后端，解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。
首个版本发布。实现了分页键值缓存、连续批处理、 分块预填充、前缀缓存、推测性解码、CUDA 图、 张量并行、MoE 专家并行以及与 OpenAI 兼容的 HTTP 服务。 每项机制均已独立地与 HuggingFace Transformer 进行基准测试。 Full Changelog : https://github.com/psmar
…初始化的问题 3901 - 修复MultiAPIServer日志地址混乱问题 3967 - 修复多机张量并行无法部署问题 4377 - 修复Qwen-VL系列模型无法关闭思考问题 3808 4762 - 修复APIServer的对话接口非流式返回场景下 finish reason 不正确问题 4582 - 修复ERNIE-4.5-VL模型
…模式下离线推理退出hang问题 文档 - 更新了最佳实践文档中一些技术的用法和冲突关系 - 新增多机张量并行部署文档 - 新增数据并行部署文档 其它 - CI新增对自定义算子的Approve拦截 - Config整理及规范化 What's Changed Describe PR diff coverage using JSON file