开源视频生成模型,用高效架构和训练方案降低高质量视频制作门槛,让普通开发者也能训练和部署文生视频模型。
基于 PyTorch 的深度学习优化库,通过 ZeRO、模型并行和混合专家等技术,让千亿到万亿参数模型的分布式训练与推理更省显存、更高效。
腾讯混元开源的大规模视频生成框架,基于扩散 Transformer 把文本提示直接生成连贯视频,适合做文生视频研究和应用落地。
一站式搞定 Qwen、Gemma 等开源大模型和多模态模型的微调(SFT/RL)、评测与部署,零代码也能上手。
统一序列并行注意力实现,把 Ulysses 和 Ring Attention 混合成 2D 并行,让长上下文 Transformer 训练和推理能扩展到超长序列。
…hub.com/PaddlePaddle/Paddle/pull/75691) 修复 H20 环境下序列并行精度问题。[ 76150](https://github.com/PaddlePaddle/Paddle/pull/76150) 修复自动并行sharding stage2/stage3策略在混合精度训练场景的 bug。[ 7646
…99 )及量化文档( 9057 )等,确保信息的时效性与准确性。 - 新增测试用例,如针对PIR模式序列并行的测试( 9015 ),强化测试覆盖度。 - 修复文档中的链接错误(如 9127 ),提升用户体验。 5. 其他关键变更 : - 推理性能优化 : - LLM推理代码得到优化,支持更多模型与参数配置(如 8986 , 8995 ),