多模态生成
共 290 个仓库 · Python
腾讯混元开源的多模态定制视频生成架构，支持音频驱动、图生视频和视频编辑，可按输入条件生成定制化视频内容。
开源多模态训练框架，基于 Qwen3 等底座训练视觉语言模型，降低多模态模型训练门槛。
MeanFlow 与 iMF 的 PyTorch 实现，用一步生成建模替代多步扩散采样，让图像生成推理更快。
自托管的生成式 AI 网页界面，集成 30 多种模型，覆盖图像、视频、音频生成，用浏览器就能统一调用，省去逐个搭建环境的麻烦。
单模型同时生成画面与声音的基座模型，解决视频和音频分开生成后不同步的问题，适合做带声视频创作。
NVIDIA 开源的扩散模型加速生成方案，用一致性模型、分布匹配蒸馏和流映射等蒸馏技术，把扩散模型的多步采样压缩到极少步数，显著提升出图速度。
汇总文本到图像扩散模型可控生成方向的论文、代码与工具资源，覆盖空间控制、多概念组合和个性化生成，方便快速查找与调研。
腾讯混元开源的多模态扩散模型，根据视频画面和文本描述生成高保真拟音音效，解决视频配音中脚步声、环境声等 Foley 音效制作费时费力的问题。
基于扩散模型的自动驾驶规划器，用扩散生成做轨迹规划，支持灵活引导，是 ICLR 2025 Oral 论文的官方实现。
收录 660+ 个生成式媒体模型和第三方 API 工具的目录，每个条目一个 YAML 文件，按能力分类浏览，方便给 AI Agent 快速找接口。
把在线策略自蒸馏引入扩散模型后训练，用强化学习思路提升文生图和图像编辑的生成质量，省去额外奖励模型。
把自回归扩散模型蒸馏成少步采样，实现高质量实时交互式视频生成，解决扩散模型推理慢、难以实时出片的问题。
基于预训练流模型实现免反演文本编辑，无需先反演再重建，直接按文字指令修改图像，简化流程并提升编辑效果。
无需训练的长篇故事可视化迭代框架，通过多轮迭代生成保持角色与情节一致的故事配图，解决长文本生成图像时前后不一致的问题。
一站式本地 AI 影音工作室，输入一句提示词就能规划完整音乐视频和短片，涵盖视频、图像与音乐生成，基于 WanGP 流水线并通过 Pinokio 安装。
从零训练原生视觉语言模型的开源系列，去掉独立视觉编码器，让多模态理解与生成在统一架构里完成。
让 HuggingFace 上的 Transformers 和 Diffusers 模型无缝跑在昇腾 MindSpore 上，省去手动迁移适配的麻烦，并支持加速。
面向长时程视频世界模型的开源数据集与可扩展训练方案，支持扩散模型和图像到视频生成，可用于实时交互式游戏引擎等场景。
基于 Diffusers 的实时扩散模型演示应用，用潜在一致性模型把文生图做到近乎即时的出图，并通过 MJPEG 推流展示生成过程。
用高分辨率语义编码器把视觉理解与图像生成统一到一个模型里，既能读懂图片，也能做文生图和图像编辑。
统一的世界模型代码库，整合扩散模型、高斯泼溅、3D 场景生成与视频编辑等能力，方便研究和复现各类世界模型。
开源的多图编辑扩散模型，支持同时处理多张输入图像进行编辑与生成，适合需要批量或组合式图像编辑的场景。
基于扩散模型的身份保持文本到视频生成方案，通过频域分解在生成视频中稳定保持人物面部身份，适合做可控人物视频生成。
基于 PyTorch 的成像逆问题求解库，把去噪、去模糊、MRI 重建等任务统一到深度学习框架下，内置扩散模型和即插即用先验。