多模态生成
共 372 个仓库 · 一年内有推送
让视频扩散 Transformer 无需重新训练就能生成远超训练时长的长视频，通过改进位置编码实现长度外推，兼容 CogVideoX、HunyuanVideo 等模型。
开源 11B 参数的多模态视觉语言模型，专攻长视频和实时流式视频理解，可用于视频问答等场景。
整理大模型时代机器人领域的三维视觉论文清单，涵盖论文、代码和项目主页，方便快速跟进 3D 感知与操作方向的研究进展。
收录 908+ 个 Nano Banana Pro（Gemini 3 Pro Image）提示词案例，每个都配有效果图和在线图库，方便直接抄作业做 AI 图像生成。
多模态指令驱动的矢量动画生成器，输入文字或图片即可输出可直接使用的 Lottie JSON 动画文件，省去手工制作矢量动画的繁琐流程。
系统梳理视觉自回归模型的研究综述（TMLR 2025），覆盖图像生成、多模态、点云、运动预测等方向，帮研究者快速理清技术脉络与加速方法。
整理 CLIP 等视觉语言模型上 prompt learning 与 adapter learning 方法的论文清单，方便做少样本、零样本分类的研究者快速找到相关工作和基线。
一份简洁易读的扩散模型训练与采样代码，适合想搞懂扩散模型原理、动手复现图像生成流程的开发者。
系统梳理大模型、多模态模型等场景下的模型合并方法、理论与应用，涵盖攻击防御、持续学习、扩散模型等方向，适合快速了解该领域全貌。
用 Hugging Face diffusers 把扩散模型从图像搬到音频，能直接训练和生成音乐片段，省去自己搭扩散流程的麻烦。
汇总视频生成领域的论文与资源清单，覆盖扩散模型、GAN、文本生成视频等方向，方便快速追踪研究进展。
面向具身智能的一站式 VLA 工程平台，打通数据、模型训练到真机部署全流程，省去自己拼装工具链的麻烦。
极简但开箱即用的世界模型研究代码库，集成扩散模型、视频生成与模型预测控制，方便快速复现和推进世界模型实验。
汇总文本到图像生成领域的研究论文与资源，方便快速跟进扩散模型等文生图方向的进展。
X-VLA 是 ICLR 2026 论文的官方实现，用软提示 Transformer 构建可扩展的跨具身视觉-语言-动作模型，让同一套策略能迁移到不同机器人本体上做操作任务。
收录 50 多个可直接克隆、部署并变现的开源生成式 AI 应用模板，涵盖图像生成、视频工具、虚拟试穿和 AI SaaS 脚手架，每个模板都支持 Vercel 一键部署。
整理文本生成视频（Text-to-Video）领域论文与资源的综述清单，帮研究者快速摸清扩散模型等技术路线和代表工作。
统一封装 Flow-Matching 模型的微调流程，支持图像与视频生成，并集成强化学习，省去自己搭训练脚本的麻烦。
一套 Colab 笔记本，手把手演示蛋白质与 RNA 结构预测、设计、对接等深度学习工具的用法，适合边跑边学。
基于 Gemini Flash 图像 API 的 AI 图像生成与编辑工作台，支持参考图、蒙版局部重绘和版本历史，界面直观易上手。
飞桨多模态大模型开发套件，覆盖图文理解、生成到扩散模型的全流程，提供预训练模型与高性能训练推理工具。
整理视频世界模型与自回归扩散方向的论文、应用和基础设施资源清单，帮研究者和开发者快速摸清这一领域的技术脉络。
Yume 是一个交互式世界模型，支持文本或图像驱动实时视频生成，可用于构建可交互的虚拟场景。
开源自托管的 AI 视频生成器，在网页界面里输入文字就能生成带旁白、字幕和数字主播的多场景视频，完全免费。