基于 PyTorch 的深度学习优化库，通过 ZeRO、模型并行和混合专家等技术，让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
…el的精度问题进行了系统化修复，为大模型训练的稳定性和正确性提供了更好的保障。 新特性 - MoE（混合专家系统）优化。 [ 73592](https://github.com/PaddlePaddle/Paddle/pull/73592),[ 73763](https://github.com/PaddlePaddle/Paddle/p