多模态生成
共 372 个仓库 · 一年内有推送
把生成模型里隐含的 3D 先验知识迁移到场景理解任务上，让视觉语言模型在空间推理时更懂三维结构。
把多模态大模型变成能调度各类计算机视觉任务的通用路由器，用指令调优统一处理检测、分割等任务，免去为每个任务单独建模。
RecA 用自监督学习让多模态模型在生成图像时借助自身的视觉理解能力，提升文生图和图像编辑的效果，可接入 ComfyUI 使用。
开源的 AI UGC 视频广告生成器，用 Veo、Seedance 等模型生成真人感 AI 演员口播视频，可自托管替代 Arcads 和 MakeUGC。
为 Hugging Face diffusers 提供注意力图提取与可视化工具，方便查看 Stable Diffusion 文生图时文本如何影响图像区域。
让视觉语言模型在推理时生成连续视觉 token 作为中间思考步骤，提升看图与推理表现，附带 ECCV 2026 论文官方实现。
收录 Seedance 2.5 官方指南与 36 个官方媒体素材，并保留旧版 Seedance 2 文档，方便查视频生成提示词和 API 用法。
MagicBrush 是 NeurIPS'23 发布的人工标注指令引导图像编辑数据集，为训练和评测文本指令驱动的图像编辑模型提供高质量数据。
VideoPrism 是 DeepMind 开源的视频理解基础视觉编码器，用自监督学习预训练，可直接抽取视频特征，支撑分类、检索、问答等下游任务。
用 torchao 和 diffusers 优化扩散模型的端到端教程，覆盖推理加速和 FP8 训练，帮你在 Flux 等文生图模型上省显存、提速度。
MACE 是 CVPR 2024 提出的扩散模型大规模概念擦除方法，能从 Stable Diffusion 等文生图模型中批量移除指定概念，适合做内容安全与版权合规。
把 Stable Diffusion 等扩散模型用 BentoML 打包成可部署的推理服务，支持 LoRA 微调权重和 Kubernetes 部署，省去自己搭服务框架的麻烦。
RISE 用组合式世界模型让机器人策略自我进化，通过生成模型与价值学习提升操作任务表现，适合研究机器人学习与 VLA 的团队。
轻量高效的全模态强化微调框架，支持 GRPO、DAPO 等算法，用奖励模型驱动 LLM 和多模态 VLM 训练。
精选 150+ 开源 AI 视频制作与自媒体运营工具，覆盖一键生成、文生视频、多平台分发、字幕翻译等场景，每周更新。
面向水下场景理解的大型多模态模型，能同时处理水下图像与文本，完成描述、问答等视觉语言任务，填补水下环境多模态研究的空白。
DepthLM 的官方实现，用视觉语言模型做单目深度估计，把深度预测转成语言建模任务，在 ICLR 2026 入选 Oral。
在 Apple Silicon Mac 上离线跑 LTX-2.5 和 MiniMax H3，做带声音的文本/图片转视频、对口型和角色 LoRA 训练，不用云端和 API key。
首个开源的 JSON 原生文生图模型，用结构化 JSON 输入实现可控、可预测且版权合规的图像生成。
EvoCUA 是一个可自我进化的计算机使用智能体，基于视觉语言模型理解图形界面并自动完成操作任务。
用强化学习把目标检测、分割、计数等视觉感知任务统一进多模态大模型的推理流程，让模型边推理边定位。
用逐步分组相对策略优化（Step-wise GRPO）训练多模态大模型做推理，提升视觉语言任务上的推理能力。
本地一站式 LoRA 训练工作台，从单张照片或大批图片构建角色、风格、概念数据集，自动打标并用 ai-toolkit 训练，支持多模型 checkpoint 对比。
PromptKD 是 CVPR 2024 的官方 PyTorch 实现，用无监督提示蒸馏把大视觉语言模型的能力迁移到小模型上，免去人工标注。