多模态生成
共 434 个仓库
基于扩散模型的指令式视频编辑方案，配套高质量合成数据集，解决视频编辑训练数据稀缺、难以规模化的问题。
面向智能体的创意工作台，把图像生成、图像处理和动态图形等模型接入统一界面，方便在创作流程中直接调用多种多模态生成能力。
把 GPT Image 2 生成的图片接入 Seedance 2.5 做图生视频的工作流指南，含提示词与 API 调用示例，帮你快速跑通从出图到成片的流程。
把单个知识点自动做成带旁白、逐句标注出处的知识短片，基于 Claude Code 技能，内置 44 套视觉风格，代码逐帧渲染成片。
面向物理 AI 机器人的厂商无关智能体框架，基于 ROS 2 工具执行复杂动作、场景任务、自由接口调用、日志摘要和语音交互。
基于预训练模型的持续学习工具箱，集成多种增量学习与终身学习算法，方便在视觉和视觉语言模型上做可复现的持续学习实验。
用 VQAScore 给文生图、文生视频和文生 3D 模型打分的评测工具，基于视觉语言模型判断生成内容与文本提示是否匹配。
把角色的脸、身材、服装和声音打包进一个 .char 文件，让同一个角色在不同扩散模型和视频生成工具里保持一致，省去反复调参对齐的麻烦。
收录 150 条 GPT Image 2.5 社区提示词，覆盖 9 类使用场景，每条都标注原作者和出处，可直接拿来生成图片。
统一的多模态大模型，能高效理解图像、高分辨率图像和视频，用极少的视觉 token 完成多模态推理，适合显存和算力受限的场景。
面向视频场景的空间超级感知多模态大模型，专注提升视觉语言模型对视频中空间关系的理解与推理能力。
把 reMarkable2 电子纸平板变成视觉大模型的输入画板，手写或画图后直接发给 ChatGPT、Claude、Gemini 识别与对话。
在 MiniMax H3 生成的视频里逐帧追踪并裁剪小尺寸人脸，用 H3 精修后再拼回原画面，解决远景人脸模糊、细节丢失的问题。
一堆可直接在 Google Colab 上跑的生成式 AI 笔记本，覆盖 ComfyUI 工作流、Flux Kontext、混元、LTX 视频等图生图与图生视频玩法，省去自己配环境。
给 Payload CMS 装的 AI 插件，在后台直接做文本生成、AI 写作、翻译和图像生成，省去接第三方服务的麻烦。
一站式微调视频生成模型的工具库，支持文本到视频等扩散模型，方便做内容创作和视觉艺术定制。
提供各行业专用的 Pydantic schema 集合，让视觉语言模型按统一结构输出 JSON，省去手写解析和字段对齐的麻烦。
汇总多模态建模相关资源，覆盖多模态大模型（MLLM）、统一多模态模型（UMM）和原生多模态模型（NMM），方便快速查找论文与工具。
收录 5000+ 中文 AI 绘画提示词，按类别整理并支持检索和一键复制，覆盖 Midjourney、Stable Diffusion、Flux、即梦、可灵等主流生图模型，源码和数据集全部开源。
给 Claude Code 和 Codex 用的 UI 设计与还原技能，能从截图生成设计稿，再把设计稿还原成可运行页面。
收录 3000+ 条 Gemini Nano Banana Pro 高质量提示词与生成案例，覆盖摄影、设计、艺术、营销等领域，JSON 格式双语呈现，方便直接取用和二次整理。
把影视生成的场景依赖建成 DAG，用关键路径法调度多模型并行出片，让原本逐个生成的镜头同时跑，缩短整片制作时间。
统一视觉分词器，把图像同时编码成适合生成和理解任务的离散 token，解决生成与理解模型各用一套 tokenizer 的割裂问题。
基于 WebGPU 的高斯泼溅渲染平台，可在浏览器里跑 3DGS/4DGS 和神经渲染，用来做三维场景与数字人展示。