多模态生成
共 261 个仓库 · 近 4 个月有推送
一站式本地 AI 影音工作室，输入一句提示词就能规划完整音乐视频和短片，涵盖视频、图像与音乐生成，基于 WanGP 流水线并通过 Pinokio 安装。
在浏览器里直接修复 AI 生成的像素画和矢量图，不用装软件或上传服务器，适合处理文生图常见的锯齿、模糊和边缘失真问题。
从零训练原生视觉语言模型的开源系列，去掉独立视觉编码器，让多模态理解与生成在统一架构里完成。
汇总扩散模型在机器人领域的关键论文与博客，覆盖抓取、运动规划、模仿学习和离线强化学习，方便快速入门和追踪进展。
让 HuggingFace 上的 Transformers 和 Diffusers 模型无缝跑在昇腾 MindSpore 上，省去手动迁移适配的麻烦，并支持加速。
面向长时程视频世界模型的开源数据集与可扩展训练方案，支持扩散模型和图像到视频生成，可用于实时交互式游戏引擎等场景。
统一的世界模型代码库，整合扩散模型、高斯泼溅、3D 场景生成与视频编辑等能力，方便研究和复现各类世界模型。
基于 PyTorch 的成像逆问题求解库，把去噪、去模糊、MRI 重建等任务统一到深度学习框架下，内置扩散模型和即插即用先验。
提供即插即用的 JSON 风格提示词，复制一个 style.json 就能让 Nano Banana Pro、GPT Image 和 Midjourney 生成风格统一的图像，每周更新新样式。
整理大模型训练数据全流程的精选资源库，覆盖数据获取、去重、过滤、配比、合成与溯源，配套「LLM × DATA」综述论文。
开源 11B 参数的多模态视觉语言模型，专攻长视频和实时流式视频理解，可用于视频问答等场景。
收录 908+ 个 Nano Banana Pro（Gemini 3 Pro Image）提示词案例，每个都配有效果图和在线图库，方便直接抄作业做 AI 图像生成。
整理 CLIP 等视觉语言模型上 prompt learning 与 adapter learning 方法的论文清单，方便做少样本、零样本分类的研究者快速找到相关工作和基线。
系统梳理大模型、多模态模型等场景下的模型合并方法、理论与应用，涵盖攻击防御、持续学习、扩散模型等方向，适合快速了解该领域全貌。
用 Hugging Face diffusers 把扩散模型从图像搬到音频，能直接训练和生成音乐片段，省去自己搭扩散流程的麻烦。
汇总视频生成领域的论文与资源清单，覆盖扩散模型、GAN、文本生成视频等方向，方便快速追踪研究进展。
面向具身智能的一站式 VLA 工程平台，打通数据、模型训练到真机部署全流程，省去自己拼装工具链的麻烦。
极简但开箱即用的世界模型研究代码库，集成扩散模型、视频生成与模型预测控制，方便快速复现和推进世界模型实验。
汇总文本到图像生成领域的研究论文与资源，方便快速跟进扩散模型等文生图方向的进展。
X-VLA 是 ICLR 2026 论文的官方实现，用软提示 Transformer 构建可扩展的跨具身视觉-语言-动作模型，让同一套策略能迁移到不同机器人本体上做操作任务。
收录 50 多个可直接克隆、部署并变现的开源生成式 AI 应用模板，涵盖图像生成、视频工具、虚拟试穿和 AI SaaS 脚手架，每个模板都支持 Vercel 一键部署。
整理文本生成视频（Text-to-Video）领域论文与资源的综述清单，帮研究者快速摸清扩散模型等技术路线和代表工作。
统一封装 Flow-Matching 模型的微调流程，支持图像与视频生成，并集成强化学习，省去自己搭训练脚本的麻烦。
基于 Gemini Flash 图像 API 的 AI 图像生成与编辑工作台，支持参考图、蒙版局部重绘和版本历史，界面直观易上手。