…EMM、对称 GEMM 等技术对 Newton-Schulz 正交化过程做了高性能优化，并具备大规模并行训练能力。 基于 VMM 的 Allocator v2：新增基于 CUDA 虚拟内存（VMM）的 best-fit 分配器 v2，支持大/小内存池分离查询与全 block 信息查询，改善 MoE 等动态显存场景下的碎片管理，显著减少显存

…步问题、新增Sharding场景的FP8参数量化能力和DualPipe下的极致通信计算重叠能力，保障并行训练稳定高效。同时增强自动并行架构下的切分推导能力增强自动并行切分效率。 推理部署 ：新增支持safetensors加载功能，EP并行方面对internode ll two stage进行了功能增强助力进一步提升推理效率。 1. 用户体

…3) 5. 自动并行优化 ： - 修复了自动并行过程中的多个问题（如 9217, 9355），确保了并行训练的稳定性。 - 更新了自动并行配置与检查点转换器（如 9136, 9432），提升了训练的灵活性和稳定性。 6. 文档和测试更新 ： - 更新了多个文档，包括LLM模型文档（如 9314）和量化文档（如 9330），确保了信息的时效

…），确保数据处理的正确性。 - 更新自动并行配置与检查点转换器（如 8847 , 9136 ），提升并行训练的灵活性与稳定性。 - 新增损失NaN/Inf检查器（ 8943 ），及时发现并处理潜在数值问题。 - 优化分布式训练中的数据加载与梯度合并流程（如 9120 , 9179 ），提升训练速度与稳定性。 What's Changed