腾讯混元开源的多模态扩散模型,根据视频画面和文本描述生成高保真拟音音效,解决视频配音中脚步声、环境声等 Foley 音效制作费时费力的问题。
Prism 是腾讯混元提出的动态稀疏注意力框架,让视频-音频联合生成模型能原生训练到 2K 分辨率,解决高分辨率多模态生成算力吃紧的问题。