基于 PyTorch 的深度学习优化库,通过 ZeRO、模型并行和混合专家等技术,让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
自动化调整大模型对齐行为的工具,支持直接干预、LoRA 和 MoE 专家级消融,并用 Optuna 多目标搜索调参。
在 16–64 GB 内存的 Apple Silicon Mac 上,从 SSD 流式加载 105 GB 的 4-bit 大模型跑推理,纯 Swift + MLX/Metal 实现,离线无需 Python。
…el的精度问题进行了系统化修复,为大模型训练的稳定性和正确性提供了更好的保障。 新特性 - MoE(混合专家系统)优化。 [ 73592](https://github.com/PaddlePaddle/Paddle/pull/73592),[ 73763](https://github.com/PaddlePaddle/Paddle/p