只需几行代码就能把 PyTorch 模型跑在任意设备或分布式配置上，自动处理混合精度（含 fp8）和 FSDP、DeepSpeed 配置，省去手写分布式训练样板代码的麻烦。
NVIDIA 的大规模 Transformer 训练框架，支持张量并行、流水线并行等模型并行策略，用来在成百上千张 GPU 上高效预训练大语言模型。
一套面向大模型训练的分布式并行框架，把数据、模型、流水线并行和异构训练整合成统一接口，让训练和推理更省显存、更快。
配套 B 站视频教程的深度学习图像处理实战代码库，用 PyTorch 和 TensorFlow2 覆盖图像分类、目标检测与分割的完整训练流程。
把多个预训练大模型按不同策略合并成一个新模型的工具集，不用重新训练就能组合各家能力，适合做模型融合实验。
PyTorch 上的 Grad-CAM 系列可视化工具，支持 CNN 和 Vision Transformer，可用于分类、检测、分割、图像相似度等任务的模型可解释性分析。
…Paddle/pull/76150) 修复自动并行sharding stage2/stage3策略在混合精度训练场景的 bug。[ 76462](https://github.com/PaddlePaddle/Paddle/pull/76462) 修复动转静下冗余memcpy导致 CUDAGraph 失败的问题。[ 75078](http
…码注意力计算FlashMask V3，极致优化Attention的计算效率，同时还实现了高效的FP8混合精度效果无损训练技术。 - 在分布式并行策略层面，提出了动态自适应的显存卸载策略，实现存算最优均衡，再结合创新设计的显存友好的流水线并行调度，进一步降低显存开销。 - 增强了框架原生的容错能力，实现了大规模集群训练容错系统，可在不影响训
…算子优化 : 进一步提升FP8相关量化和计算融合算子的性能，并调整了部分算子的sm使用量，提升FP8混合精度训练效率 大模型训练更稳更快 ：系统性优化了Slice相关场景的执行效率，大幅提升Slice相关操作性能；修复流水线场景下的参数同步问题、新增Sharding场景的FP8参数量化能力和DualPipe下的极致通信计算重叠能力，保障并