多模态生成
共 372 个仓库 · 一年内有推送
面向视觉语言模型的空间推理与视觉定位研究代码快照，探索用视觉基元辅助多模态模型理解空间关系。
面向视频/音频片段检索与高光检测的可复现 Python 库，统一多模态流程，方便研究者快速复现和对比实验结果。
把视觉语言模型和强化学习整合到同一个框架里，用于自动驾驶策略训练，并在 CARLA 仿真中验证安全性。
RoboRefer 是面向机器人场景的空间指代推理视觉语言模型官方实现，让机器人能理解「把左边那个杯子递给我」这类带空间关系的指令。
字节 Seedance 2.0 视频生成 API 的调用示例，覆盖文生视频和图生视频两种模式，方便开发者快速接入。
封装 Google Flow 的 CLI 工具，用命令行批量生成 Nano Banana Pro 图片和 Omni Flash 视频，并支持 MCP v2 与 OpenAI API 接入。
纯前端的多模型并行对话与文生图工具，填上 API Key 就能同时对比 ChatGPT、Claude 等模型的回答并生成图片，无需自建服务端。
用工具调用方式逐笔绘制像素画的 AI 智能体，靠形状、噪点和逐像素控制作画，而非扩散模型生成，适合做游戏素材。
基于多模态大模型的视频剪辑智能体，能把文字需求直接变成成片，自动完成剪辑、合成与全流程视频生产。
用 TensorRT 加速 ComfyUI 的图片放大节点，把 ESRGAN、Real-ESRGAN 等放大模型跑出 2~4 倍速度，适合出图后处理提速。
多主体 LoRA 融合方法，在测试时通过自适应 token 级路由把多个 LoRA 组合起来，让扩散模型一次生成多个指定主体。
汇总自动驾驶场景生成与分析方向的基础模型论文，涵盖扩散模型、大语言模型和多模态模型，持续更新最新研究进展。
基于基础模型的医学图像分析代码库，涵盖MAE预训练、Mamba状态空间模型、视觉语言模型与医学报告生成，为医学影像研究提供可复用的模型实现。
面向电商场景的 GPT Image 2.5 提示词手册，覆盖商品主图、模特试穿、产品展示、互动场景和社交电商素材的生成与修图。
用强化学习（GRPO）训练视觉语言模型生成更细粒度、更密集的图像描述，解决普通 caption 模型描述过于笼统的问题。
一套面向 AI 编程助手的生成式媒体技能包，让 Claude、Cursor 等助手能直接产出高质量图片、视频、音频和语音内容。
一条命令把任意选题自动做成可直接发布的短视频，涵盖调研、脚本、配音、画面、配乐、字幕与合成，适合批量生产 YouTube、Reels、TikTok 内容。
面向视觉语言模型的对齐与安全研究代码库，提供对抗攻击方法，用于评估多模态基础模型的鲁棒性和可信度。
用强化学习对扩散模型做后训练，支持文生图、文生视频和图生视频，主打高效、稳定、可扩展。
把 fal.ai 上 1400 多个图像、视频、音频和 LLM 模型接进 ComfyUI 的自定义节点，自带缓存和费用控制，方便在本地工作流里直接调用云端生成能力。
把视觉预训练扩展到 4K 分辨率，让视觉语言模型在高清图像上也能高效训练和推理。
多供应商 AI 图像生成器，支持 Gitee AI、HuggingFace、ModelScope 等后端，提供 OpenAI 兼容 API 与 token 轮换，可一键部署到 Cloudflare Pages。
Iris-3B 是一个 3B 参数的扩散 Transformer，直接在像素空间生成图像、无需 VAE；同一预训练先验微调后还能做单目深度估计和 4 倍图像修复。
面向新手的 ComfyUI 前端界面，简化 Stable Diffusion 和 Flux 等图像生成工作流操作，降低上手门槛。