只需几行代码就能把 PyTorch 模型跑在任意设备或分布式配置上,自动处理混合精度(含 fp8)和 FSDP、DeepSpeed 配置,省去手写分布式训练样板代码的麻烦。
NVIDIA 的大规模 Transformer 训练框架,支持张量并行、流水线并行等模型并行策略,用来在成百上千张 GPU 上高效预训练大语言模型。
一套面向大模型训练的分布式并行框架,把数据、模型、流水线并行和异构训练整合成统一接口,让训练和推理更省显存、更快。
配套 B 站视频教程的深度学习图像处理实战代码库,用 PyTorch 和 TensorFlow2 覆盖图像分类、目标检测与分割的完整训练流程。
把多个预训练大模型按不同策略合并成一个新模型的工具集,不用重新训练就能组合各家能力,适合做模型融合实验。
PyTorch 上的 Grad-CAM 系列可视化工具,支持 CNN 和 Vision Transformer,可用于分类、检测、分割、图像相似度等任务的模型可解释性分析。
面向 OpenVINO 推理的神经网络压缩框架,提供量化、剪枝和混合精度训练,把模型压小提速后再部署。
面向 Apple Silicon 的自适应混合精度量化与推理运行时,把 GGUF 模型转成 MLX 可用格式,让 Mac 上跑大模型更省显存。
…Paddle/pull/76150) 修复自动并行sharding stage2/stage3策略在混合精度训练场景的 bug。[ 76462](https://github.com/PaddlePaddle/Paddle/pull/76462) 修复动转静下冗余memcpy导致 CUDAGraph 失败的问题。[ 75078](http
…码注意力计算FlashMask V3,极致优化Attention的计算效率,同时还实现了高效的FP8混合精度效果无损训练技术。 - 在分布式并行策略层面,提出了动态自适应的显存卸载策略,实现存算最优均衡,再结合创新设计的显存友好的流水线并行调度,进一步降低显存开销。 - 增强了框架原生的容错能力,实现了大规模集群训练容错系统,可在不影响训
…算子优化 : 进一步提升FP8相关量化和计算融合算子的性能,并调整了部分算子的sm使用量,提升FP8混合精度训练效率 大模型训练更稳更快 :系统性优化了Slice相关场景的执行效率,大幅提升Slice相关操作性能;修复流水线场景下的参数同步问题、新增Sharding场景的FP8参数量化能力和DualPipe下的极致通信计算重叠能力,保障并