面向流式视频超分的一步扩散框架,用局部约束稀疏注意力和微型条件解码器把扩散超分做到实时,适合直播、视频通话等低延迟场景。
Prism 是腾讯混元提出的动态稀疏注意力框架,让视频-音频联合生成模型能原生训练到 2K 分辨率,解决高分辨率多模态生成算力吃紧的问题。
用空间稀疏注意力做超大规模 3D 生成,单卡也能跑千兆级 3D 内容,支持图生 3D 和 3D 重建。
免训练稀疏注意力方案,可直接接入任意模型推理,加速 LLM、视觉 Transformer 和视频生成,无需重新训练即可降低注意力计算开销。
把视频扩散模型的推理速度提升 100–200 倍,靠一致性蒸馏、稀疏线性注意力和 SageAttention 等系统级优化,让视频生成真正跑得动。
…VecAttention 稀疏 Prefill 能力,面向视觉语言模型(Qwen2.5-VL),集成稀疏注意力 Triton 内核及图像/视频推理工具 320 - 新增 D-Flash / D-Flare 相关能力 325 - 新增 Stem 稀疏注意力模块的 News 与 Benchmark 结果文档 328 蒸馏与训练 - 新增蒸馏(
…方面带来多项重要升级,全面提升大模型训推能力。 训练效率突破 FlashMaskV3升级 :深度优化稀疏注意力掩码计算FlashMaskV3计算内核,性能全面超越FlexAttention,算子性能最高领先2.1 倍;原生支持上下文并行并引入计算负载均衡机制,分布式场景算子性能相比Megatron-LM快80%,全面强化长文训练能力。 F
…策略与上下文缓存默认开启 - MTP支持更多草稿token推理,提升多步接受率 - 新增可插拔轻量化稀疏注意力加速长文推理 - 针对Decode支持自适应双阶段的All-to-All通信,提升通信速度 - 支持DeepSeek系列模型MLA Bankend encoder阶段启用Flash-Attrntion-V3 - 支持DeepSee