NVIDIA 官方多 GPU 集合通信库，提供 all-reduce、broadcast 等优化通信原语，是分布式深度学习训练中跨卡数据同步的底层依赖。
面向 MoE 模型的高效专家并行通信库，专门优化 GPU 间 all-to-all 分发与合并，降低大规模稀疏模型训练和推理的通信开销。
一本面向大模型工程实践的开源手册，系统讲解 GPU 训练、推理、调试、网络与扩展性等落地问题，帮工程师把模型真正跑起来。
统一的 PyTorch 训练框架，让同一份代码在单卡到上万张 GPU 上都能跑，免去改代码就能做预训练和微调。
NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。
面向大模型后训练的强化学习框架，用混合编程模型把 RLHF 训练流程编排得灵活又高效，方便扩展和跑大规模实验。
用 Triton 重写 LLM 训练中的 RMSNorm、RoPE、交叉熵等关键算子，减少显存占用并提升微调吞吐，兼容 Llama、Mistral、Gemma、Phi 等主流模型。
分布式 AI 计算引擎，提供核心分布式运行时和一组 AI 库，用来加速机器学习负载、大模型推理与超参搜索。