PyTorch 官方的生成式 AI 模型训练平台，提供原生分布式训练组件和可复用的并行策略，帮你在多卡集群上高效训练大模型。
NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
统一的 PyTorch 训练框架，让同一份代码在单卡到上万张 GPU 上都能跑，免去改代码就能做预训练和微调。
飞桨核心框架，提供深度学习与机器学习的高性能单机及分布式训练能力，并支持跨平台部署，适合工业级模型开发。
无需写代码就能微调大语言模型的可视化界面，从数据准备到训练评估一站式完成，适合不想碰命令行直接调模型的团队。
整理大模型与多模态推理加速论文和配套代码的资源清单，涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向，方便快速定位和复现关键技术。
一本从硬件约束和模型架构出发、用定量推导讲透 LLM 推理与训练系统设计的开源书稿，附全书正文、PDF 和配套计算工具，适合想搞懂 AI Infra 底层账怎么算的工程师。
… 体系配套：pre-commit 结构检查、md-link-checker 链接校验、交互式可视化(并行策略、推理流水线、调度器)。
…github.com/PaddlePaddle/Paddle/pull/75081) 自动并行流水线并行策略支持动态shape。[ 75724](https://github.com/PaddlePaddle/Paddle/pull/75724) 支持自动并行场景下的FlexCheckpoint机制及优化器状态字典的分片处理。[ 7624
…l/76317) - 新增 PipelineDatasetPreprocessor 机制，消除流水线并行策略中可能出现的内存泄漏问题。 [ 76260](https://github.com/PaddlePaddle/Paddle/pull/76260) 2. 算子机制 - 修复针对 BFloat16 list 场景下的 to tenso
…理性能、硬件适配、主流大模型及高性能加速库的支持上进一步提升。 - 大模型训练方面，飞桨框架在计算、并行策略、容错能力三方面进行了升级： - 从基础计算性能层面，提出了存算重叠的稀疏掩码注意力计算FlashMask V3，极致优化Attention的计算效率，同时还实现了高效的FP8混合精度效果无损训练技术。 - 在分布式并行策略层面，提
…s://github.com/PaddlePaddle/Paddle/pull/74015) 2. 并行策略优化 --- 在3.1版本中，对并行策略进行了多项优化，包括新增VPP流水线的前向状态标注和空泡hook支持，修复了流水线并行的共享参数未同步问题、Sharding通信的维度冲突导致的训练hang问题以及DualPipe的event