多模态生成
共 434 个仓库
开源的 AI UGC 视频广告生成器，用 Veo、Seedance 等模型生成真人感 AI 演员口播视频，可自托管替代 Arcads 和 MakeUGC。
为 Hugging Face diffusers 提供注意力图提取与可视化工具，方便查看 Stable Diffusion 文生图时文本如何影响图像区域。
让视觉语言模型在推理时生成连续视觉 token 作为中间思考步骤，提升看图与推理表现，附带 ECCV 2026 论文官方实现。
收录 Seedance 2.5 官方指南与 36 个官方媒体素材，并保留旧版 Seedance 2 文档，方便查视频生成提示词和 API 用法。
Stable Flow 是 CVPR 2025 论文的官方实现，利用扩散模型中的关键层实现免训练的图像编辑，无需微调即可对生成图做可控修改。
MagicBrush 是 NeurIPS'23 发布的人工标注指令引导图像编辑数据集，为训练和评测文本指令驱动的图像编辑模型提供高质量数据。
汇总扩散模型等生成模型加速推理的资源清单，涵盖图像与视频生成的高效采样、模型压缩等方向，方便快速查找相关论文和代码。
VideoPrism 是 DeepMind 开源的视频理解基础视觉编码器，用自监督学习预训练，可直接抽取视频特征，支撑分类、检索、问答等下游任务。
用 torchao 和 diffusers 优化扩散模型的端到端教程，覆盖推理加速和 FP8 训练，帮你在 Flux 等文生图模型上省显存、提速度。
MACE 是 CVPR 2024 提出的扩散模型大规模概念擦除方法，能从 Stable Diffusion 等文生图模型中批量移除指定概念，适合做内容安全与版权合规。
把 Stable Diffusion 等扩散模型用 BentoML 打包成可部署的推理服务，支持 LoRA 微调权重和 Kubernetes 部署，省去自己搭服务框架的麻烦。
RISE 用组合式世界模型让机器人策略自我进化，通过生成模型与价值学习提升操作任务表现，适合研究机器人学习与 VLA 的团队。
轻量高效的全模态强化微调框架，支持 GRPO、DAPO 等算法，用奖励模型驱动 LLM 和多模态 VLM 训练。
面向水下场景理解的大型多模态模型，能同时处理水下图像与文本，完成描述、问答等视觉语言任务，填补水下环境多模态研究的空白。
精选 150+ 开源 AI 视频制作与自媒体运营工具，覆盖一键生成、文生视频、多平台分发、字幕翻译等场景，每周更新。
BAAI 推出的无编码器视觉语言模型系列，跳过独立视觉编码器，直接用语言模型处理图像与文本，简化多模态架构并支持指令跟随。
DepthLM 的官方实现，用视觉语言模型做单目深度估计，把深度预测转成语言建模任务，在 ICLR 2026 入选 Oral。
FLUX.1 Krea 官方开源仓库，提供基于扩散模型的文生图能力，可生成高质量图像。
在 Apple Silicon Mac 上离线跑 LTX-2.5 和 MiniMax H3，做带声音的文本/图片转视频、对口型和角色 LoRA 训练，不用云端和 API key。
首个开源的 JSON 原生文生图模型，用结构化 JSON 输入实现可控、可预测且版权合规的图像生成。
EvoCUA 是一个可自我进化的计算机使用智能体，基于视觉语言模型理解图形界面并自动完成操作任务。
用强化学习把目标检测、分割、计数等视觉感知任务统一进多模态大模型的推理流程，让模型边推理边定位。
用逐步分组相对策略优化（Step-wise GRPO）训练多模态大模型做推理，提升视觉语言任务上的推理能力。
在保持前景细节不变的前提下，用参考图驱动扩散模型生成新场景，适合需要主体一致性的图像编辑与合成。