一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。
给数据和模型做版本控制的工具，像 Git 管理代码一样管理数据集和机器学习实验，解决数据版本混乱、实验难复现的问题。
面向数据中心的分布式推理服务框架，用 Rust 编写，支持 vLLM、SGLang、TensorRT-LLM 等后端，解决大规模 LLM 与扩散模型在生产环境下的解耦部署和请求路由问题。
…ttps://github.com/PaddlePaddle/Paddle/pull/78184) 流水线并行：合入 PaddleFleet 流水线并行实现，支持 MTP 权重共享、参数 offload 与显存优化（11 项）：[ 79692](https://github.com/PaddlePaddle/Paddle/pull/796
…持续深耕自动并行与AI编译器技术。在自动并行架构中新增对FSDP等策略的支持，并增强了动态Shape流水线并行功能；面向科学计算场景，实现了对高阶导数的支持，并拓展了相关算子切分推导规则的覆盖范围，进一步提升了自动并行架构的通用性与易用性。此外，围绕推理场景，优化了AI编译器CINN及动转静SOT功能，显著提升易用性与执行调度性能。 新特
…pull/76317) - 新增 PipelineDatasetPreprocessor 机制，消除流水线并行策略中可能出现的内存泄漏问题。 [ 76260](https://github.com/PaddlePaddle/Paddle/pull/76260) 2. 算子机制 - 修复针对 BFloat16 list 场景下的 to te
… 在分布式并行策略层面，提出了动态自适应的显存卸载策略，实现存算最优均衡，再结合创新设计的显存友好的流水线并行调度，进一步降低显存开销。 - 增强了框架原生的容错能力，实现了大规模集群训练容错系统，可在不影响训练效率的前提下在线监测静默数据损坏等难以察觉的故障，并实现了高可用的检查点容灾方法，降低中断恢复损失。 - 在硬件适配方面，面向类
…性能层面，在提高部分关键框架API和FP8场景下的量化计算效率的同时增强分布式训练场景下FP8量化和流水线并行效率，大幅提升训练吞吐。扩展自动并行架构的切分推导覆盖范围；推理部署提高兼容性的同时进一步增强EP并行推理能力；整体上在保持API兼容性的基础上构建出更稳健、高效的大模型研发技术底座。 算子与执行体系正确性、稳定性增强 ：系统化修