多模态生成
共 372 个仓库 · 一年内有推送
NVIDIA 开源的扩散模型加速生成方案，用一致性模型、分布匹配蒸馏和流映射等蒸馏技术，把扩散模型的多步采样压缩到极少步数，显著提升出图速度。
汇总文本到图像扩散模型可控生成方向的论文、代码与工具资源，覆盖空间控制、多概念组合和个性化生成，方便快速查找与调研。
基于扩散模型的自动驾驶规划器，用扩散生成做轨迹规划，支持灵活引导，是 ICLR 2025 Oral 论文的官方实现。
收录 660+ 个生成式媒体模型和第三方 API 工具的目录，每个条目一个 YAML 文件，按能力分类浏览，方便给 AI Agent 快速找接口。
把在线策略自蒸馏引入扩散模型后训练，用强化学习思路提升文生图和图像编辑的生成质量，省去额外奖励模型。
给 DeepSeek Harness 加语音女友的插件：Whisper 听你说话，Qwen3-TTS 克隆音色并逐句流式朗读，配数字人动画窗，支持插话打断。
把自回归扩散模型蒸馏成少步采样，实现高质量实时交互式视频生成，解决扩散模型推理慢、难以实时出片的问题。
基于预训练流模型实现免反演文本编辑，无需先反演再重建，直接按文字指令修改图像，简化流程并提升编辑效果。
无需训练的长篇故事可视化迭代框架，通过多轮迭代生成保持角色与情节一致的故事配图，解决长文本生成图像时前后不一致的问题。
汇总扩散模型在图像处理中的应用，涵盖图像修复、增强、编码与质量评估等方向，方便快速查找相关论文和资源。
一站式本地 AI 影音工作室，输入一句提示词就能规划完整音乐视频和短片，涵盖视频、图像与音乐生成，基于 WanGP 流水线并通过 Pinokio 安装。
在浏览器里直接修复 AI 生成的像素画和矢量图，不用装软件或上传服务器，适合处理文生图常见的锯齿、模糊和边缘失真问题。
从零训练原生视觉语言模型的开源系列，去掉独立视觉编码器，让多模态理解与生成在统一架构里完成。
汇总扩散模型在机器人领域的关键论文与博客，覆盖抓取、运动规划、模仿学习和离线强化学习，方便快速入门和追踪进展。
让 HuggingFace 上的 Transformers 和 Diffusers 模型无缝跑在昇腾 MindSpore 上，省去手动迁移适配的麻烦，并支持加速。
面向长时程视频世界模型的开源数据集与可扩展训练方案，支持扩散模型和图像到视频生成，可用于实时交互式游戏引擎等场景。
用高分辨率语义编码器把视觉理解与图像生成统一到一个模型里，既能读懂图片，也能做文生图和图像编辑。
统一的世界模型代码库，整合扩散模型、高斯泼溅、3D 场景生成与视频编辑等能力，方便研究和复现各类世界模型。
开源的多图编辑扩散模型，支持同时处理多张输入图像进行编辑与生成，适合需要批量或组合式图像编辑的场景。
基于扩散模型的身份保持文本到视频生成方案，通过频域分解在生成视频中稳定保持人物面部身份，适合做可控人物视频生成。
在 Debian 上从零搭建完全本地私有的 LLM 服务器，集成聊天、联网搜索、RAG、模型管理、MCP、图像生成和语音合成。
基于 PyTorch 的成像逆问题求解库，把去噪、去模糊、MRI 重建等任务统一到深度学习框架下，内置扩散模型和即插即用先验。
提供即插即用的 JSON 风格提示词，复制一个 style.json 就能让 Nano Banana Pro、GPT Image 和 Midjourney 生成风格统一的图像，每周更新新样式。
整理大模型训练数据全流程的精选资源库，覆盖数据获取、去重、过滤、配比、合成与溯源，配套「LLM × DATA」综述论文。