多模态生成
共 434 个仓库
整理文本生成视频（Text-to-Video）领域论文与资源的综述清单，帮研究者快速摸清扩散模型等技术路线和代表工作。
收录 50 多个可直接克隆、部署并变现的开源生成式 AI 应用模板，涵盖图像生成、视频工具、虚拟试穿和 AI SaaS 脚手架，每个模板都支持 Vercel 一键部署。
统一封装 Flow-Matching 模型的微调流程，支持图像与视频生成，并集成强化学习，省去自己搭训练脚本的麻烦。
一套 Colab 笔记本，手把手演示蛋白质与 RNA 结构预测、设计、对接等深度学习工具的用法，适合边跑边学。
基于 Gemini Flash 图像 API 的 AI 图像生成与编辑工作台，支持参考图、蒙版局部重绘和版本历史，界面直观易上手。
NeurIPS 2024 提出的掩码扩散语言模型，用简单的掩码扩散训练方式做文本生成，效果优于传统扩散语言模型，代码基于 Python 可直接复现。
面向自动驾驶场景的高分辨率长视频生成模型，基于扩散模型支持多视角一致输出和自适应控制，可用于合成训练数据。
飞桨多模态大模型开发套件，覆盖图文理解、生成到扩散模型的全流程，提供预训练模型与高性能训练推理工具。
整理视频世界模型与自回归扩散方向的论文、应用和基础设施资源清单，帮研究者和开发者快速摸清这一领域的技术脉络。
基于 PyTorch 的「历史引导视频扩散」官方实现，用 Transformer 做视频生成与图生视频，让生成结果在时间上更连贯。
Yume 是一个交互式世界模型，支持文本或图像驱动实时视频生成，可用于构建可交互的虚拟场景。
OmniVinci 是英伟达开源的全模态大模型，能同时理解视觉、音频和语言三种输入，适合做多模态联合推理与训练研究。
开源自托管的 AI 视频生成器，在网页界面里输入文字就能生成带旁白、字幕和数字主播的多场景视频，完全免费。
腾讯混元开源的 2K 高分辨率文生图扩散模型，能根据文字直接生成高清图像，兼顾生成效率与画质。
一套面向财经科技短视频的 AI 制作技能包，覆盖选题设计、找片截图、配音、渲染和混音，帮内容创作者快速产出华尔街风格的解读短片。
面向 LLM 和扩散 Transformer 的无损压缩方案，在 GPU 推理时压缩模型权重、降低显存占用，同时保持输出完全一致。
给无声视频自动配上生动且与画面同步的音效，基于扩散模型实现视频到音频的拟音合成。
开源的扩散式语言模型，专攻代码生成，一并放出预训练、评测、推理代码和模型权重，方便直接复现和二次开发。
NOVA 是一种无需向量量化的自回归视频生成方法，用扩散式连续表示替代离散 token，绕开 VQ 编解码器直接生成视频。
小米开源的视觉语言模型，能看图回答问题，适合做视觉问答和多模态理解任务。
基于认知强化学习、用推理链引导的文本指代图像分割方案，让多模态大模型先推理再分割，提升复杂场景下的分割精度。
基于扩散 Transformer 的开源文本生成音乐模型，输入文字描述即可合成音乐片段，适合做 AI 音乐生成的研究与二次开发。
把语言模型直接当作统一的多模态生成器，用自回归方式同时做文本到图像生成，省去额外扩散模型。
开源 AI 视频工作台，可接入任意模型或本地 ComfyUI，让 Claude Code、Codex、Cursor 通过 MCP 指挥分镜、参考图、生成和真实时间轴上的可编辑初剪，项目与密钥全部留在本地。