多模态生成
共 261 个仓库 · 近 4 个月有推送
整理视频世界模型与自回归扩散方向的论文、应用和基础设施资源清单，帮研究者和开发者快速摸清这一领域的技术脉络。
OmniVinci 是英伟达开源的全模态大模型，能同时理解视觉、音频和语言三种输入，适合做多模态联合推理与训练研究。
开源自托管的 AI 视频生成器，在网页界面里输入文字就能生成带旁白、字幕和数字主播的多场景视频，完全免费。
一套面向财经科技短视频的 AI 制作技能包，覆盖选题设计、找片截图、配音、渲染和混音，帮内容创作者快速产出华尔街风格的解读短片。
开源的扩散式语言模型，专攻代码生成，一并放出预训练、评测、推理代码和模型权重，方便直接复现和二次开发。
小米开源的视觉语言模型，能看图回答问题，适合做视觉问答和多模态理解任务。
开源 AI 视频工作台，可接入任意模型或本地 ComfyUI，让 Claude Code、Codex、Cursor 通过 MCP 指挥分镜、参考图、生成和真实时间轴上的可编辑初剪，项目与密钥全部留在本地。
面向智能体的创意工作台，把图像生成、图像处理和动态图形等模型接入统一界面，方便在创作流程中直接调用多种多模态生成能力。
把单个知识点自动做成带旁白、逐句标注出处的知识短片，基于 Claude Code 技能，内置 44 套视觉风格，代码逐帧渲染成片。
把 GPT Image 2 生成的图片接入 Seedance 2.5 做图生视频的工作流指南，含提示词与 API 调用示例，帮你快速跑通从出图到成片的流程。
面向物理 AI 机器人的厂商无关智能体框架，基于 ROS 2 工具执行复杂动作、场景任务、自由接口调用、日志摘要和语音交互。
把角色的脸、身材、服装和声音打包进一个 .char 文件，让同一个角色在不同扩散模型和视频生成工具里保持一致，省去反复调参对齐的麻烦。
收录 150 条 GPT Image 2.5 社区提示词，覆盖 9 类使用场景，每条都标注原作者和出处，可直接拿来生成图片。
把 reMarkable2 电子纸平板变成视觉大模型的输入画板，手写或画图后直接发给 ChatGPT、Claude、Gemini 识别与对话。
在 MiniMax H3 生成的视频里逐帧追踪并裁剪小尺寸人脸，用 H3 精修后再拼回原画面，解决远景人脸模糊、细节丢失的问题。
一堆可直接在 Google Colab 上跑的生成式 AI 笔记本，覆盖 ComfyUI 工作流、Flux Kontext、混元、LTX 视频等图生图与图生视频玩法，省去自己配环境。
给 Payload CMS 装的 AI 插件，在后台直接做文本生成、AI 写作、翻译和图像生成，省去接第三方服务的麻烦。
汇总多模态建模相关资源，覆盖多模态大模型（MLLM）、统一多模态模型（UMM）和原生多模态模型（NMM），方便快速查找论文与工具。
收录 5000+ 中文 AI 绘画提示词，按类别整理并支持检索和一键复制，覆盖 Midjourney、Stable Diffusion、Flux、即梦、可灵等主流生图模型，源码和数据集全部开源。
给 Claude Code 和 Codex 用的 UI 设计与还原技能，能从截图生成设计稿，再把设计稿还原成可运行页面。
收录 3000+ 条 Gemini Nano Banana Pro 高质量提示词与生成案例，覆盖摄影、设计、艺术、营销等领域，JSON 格式双语呈现，方便直接取用和二次整理。
基于 WebGPU 的高斯泼溅渲染平台，可在浏览器里跑 3DGS/4DGS 和神经渲染，用来做三维场景与数字人展示。
输入一段文字就能自动生成视频脚本、AI 配音和会说话的人脸，快速产出无真人出镜的短视频，适合做 Shorts 类内容。
把一句想法扩写成可直接投喂 Sora、可灵、Veo、Seedance 的电影级视频提示词，内置 21 种类型模板和五段式结构，省去反复调 prompt 的功夫。