多模态生成
共 290 个仓库 · Python
让视频扩散 Transformer 无需重新训练就能生成远超训练时长的长视频，通过改进位置编码实现长度外推，兼容 CogVideoX、HunyuanVideo 等模型。
多模态指令驱动的矢量动画生成器，输入文字或图片即可输出可直接使用的 Lottie JSON 动画文件，省去手工制作矢量动画的繁琐流程。
一份简洁易读的扩散模型训练与采样代码，适合想搞懂扩散模型原理、动手复现图像生成流程的开发者。
面向具身智能的一站式 VLA 工程平台，打通数据、模型训练到真机部署全流程，省去自己拼装工具链的麻烦。
极简但开箱即用的世界模型研究代码库，集成扩散模型、视频生成与模型预测控制，方便快速复现和推进世界模型实验。
整理文本生成视频（Text-to-Video）领域论文与资源的综述清单，帮研究者快速摸清扩散模型等技术路线和代表工作。
统一封装 Flow-Matching 模型的微调流程，支持图像与视频生成，并集成强化学习，省去自己搭训练脚本的麻烦。
NeurIPS 2024 提出的掩码扩散语言模型，用简单的掩码扩散训练方式做文本生成，效果优于传统扩散语言模型，代码基于 Python 可直接复现。
面向自动驾驶场景的高分辨率长视频生成模型，基于扩散模型支持多视角一致输出和自适应控制，可用于合成训练数据。
飞桨多模态大模型开发套件，覆盖图文理解、生成到扩散模型的全流程，提供预训练模型与高性能训练推理工具。
基于 PyTorch 的「历史引导视频扩散」官方实现，用 Transformer 做视频生成与图生视频，让生成结果在时间上更连贯。
Yume 是一个交互式世界模型，支持文本或图像驱动实时视频生成，可用于构建可交互的虚拟场景。
OmniVinci 是英伟达开源的全模态大模型，能同时理解视觉、音频和语言三种输入，适合做多模态联合推理与训练研究。
腾讯混元开源的 2K 高分辨率文生图扩散模型，能根据文字直接生成高清图像，兼顾生成效率与画质。
开源自托管的 AI 视频生成器，在网页界面里输入文字就能生成带旁白、字幕和数字主播的多场景视频，完全免费。
面向 LLM 和扩散 Transformer 的无损压缩方案，在 GPU 推理时压缩模型权重、降低显存占用，同时保持输出完全一致。
给无声视频自动配上生动且与画面同步的音效，基于扩散模型实现视频到音频的拟音合成。
开源的扩散式语言模型，专攻代码生成，一并放出预训练、评测、推理代码和模型权重，方便直接复现和二次开发。
NOVA 是一种无需向量量化的自回归视频生成方法，用扩散式连续表示替代离散 token，绕开 VQ 编解码器直接生成视频。
基于认知强化学习、用推理链引导的文本指代图像分割方案，让多模态大模型先推理再分割，提升复杂场景下的分割精度。
基于扩散 Transformer 的开源文本生成音乐模型，输入文字描述即可合成音乐片段，适合做 AI 音乐生成的研究与二次开发。
把语言模型直接当作统一的多模态生成器，用自回归方式同时做文本到图像生成，省去额外扩散模型。
基于扩散模型的指令式视频编辑方案，配套高质量合成数据集，解决视频编辑训练数据稀缺、难以规模化的问题。
把 GPT Image 2 生成的图片接入 Seedance 2.5 做图生视频的工作流指南，含提示词与 API 调用示例，帮你快速跑通从出图到成片的流程。