多模态生成
共 372 个仓库 · 一年内有推送
汇总多模态建模相关资源，覆盖多模态大模型（MLLM）、统一多模态模型（UMM）和原生多模态模型（NMM），方便快速查找论文与工具。
收录 5000+ 中文 AI 绘画提示词，按类别整理并支持检索和一键复制，覆盖 Midjourney、Stable Diffusion、Flux、即梦、可灵等主流生图模型，源码和数据集全部开源。
给 Claude Code 和 Codex 用的 UI 设计与还原技能，能从截图生成设计稿，再把设计稿还原成可运行页面。
收录 3000+ 条 Gemini Nano Banana Pro 高质量提示词与生成案例，覆盖摄影、设计、艺术、营销等领域，JSON 格式双语呈现，方便直接取用和二次整理。
把影视生成的场景依赖建成 DAG，用关键路径法调度多模型并行出片，让原本逐个生成的镜头同时跑，缩短整片制作时间。
统一视觉分词器，把图像同时编码成适合生成和理解任务的离散 token，解决生成与理解模型各用一套 tokenizer 的割裂问题。
基于 WebGPU 的高斯泼溅渲染平台，可在浏览器里跑 3DGS/4DGS 和神经渲染，用来做三维场景与数字人展示。
输入一段文字就能自动生成视频脚本、AI 配音和会说话的人脸，快速产出无真人出镜的短视频，适合做 Shorts 类内容。
把一句想法扩写成可直接投喂 Sora、可灵、Veo、Seedance 的电影级视频提示词，内置 21 种类型模板和五段式结构，省去反复调 prompt 的功夫。
汇集 AI 工具、实用程序和资源的精选清单，帮开发者和创作者快速找到智能体框架、提示工程、文生视频等方向的现成方案。
汇总自动驾驶领域的视觉-语言-动作（VLA）模型资源，梳理其发展脉络与未来方向，方便快速了解该方向的研究与落地进展。
ComfyUI 的本地短剧与长视频生成插件，基于 MiniMax H3 工作流实现无限时长视频，支持文生视频和图生视频。
在多种虚拟游戏世界中继续预训练视觉语言模型，打造能跨游戏泛化的具身智能体，并公开模型权重。
把视觉语言模型直接改造成机器人操作策略，无需改动架构就能训练出顶尖的视觉-语言-动作模型。
把想法和素材交给 AI 导演智能体，自动生成生动的讲解视频，支持本地优先运行并自由接入任意模型。
提供 AsymFlow、pi-Flow、GMFlow 等流匹配与扩散蒸馏算法的官方 PyTorch 实现，用于加速文本到图像生成模型的训练与推理。
汇总视觉语言模型空间智能方向论文与资源的 awesome 清单，配套综述《Spatial Intelligence in Vision-Language Models》，方便快速跟进空间推理研究进展。
用 OpenAI 的 CLIP 引导扩散模型，把文字描述直接生成图片，提供命令行工具和 Python 模块两种用法。
自托管的扫描件处理工具，通过 FTP、SMB 或监听文件夹接收扫描文件，用本地 Ollama 视觉模型识别内容并自动生成带日期的描述性文件名，再投递到 WebDAV 或本地目录。
在 Apple Silicon Mac 上本地跑 LTX-2 系列和 MiniMax H3 模型的视频生成应用，支持文生视频和图生视频，不用云端 GPU。
统一多模态模型，把图文理解、文生图和图像编辑整合进同一套框架，省去为不同任务分别部署模型的麻烦。
收集整理 Qwen 系列模型的优质提示词大全，覆盖文生图、文生视频等场景，可直接参考或贡献自己的提示词。
面向通用机器人策略的空间引导视觉-语言-动作框架，把视觉语言模型和动作输出打通，让机器人能按空间指令执行操作任务。
提供成人向 AI 视频生成 API，支持 Seedance Spicy 与 Wan NSFW 模型的文生视频、图生视频，带异步任务、Webhook 回调和积分计费。