多模态生成
共 290 个仓库 · Python
MIMO 是一个可控角色视频合成模型，通过空间分解建模把人物和场景拆开处理，让用户能对角色动作和画面进行精细控制。
把微软 VibeVoice 语音合成模型接入 ComfyUI 的节点插件，支持单人和多人对话式语音生成，可直接在工作流里出高质量配音。
Ovis 是一种多模态大语言模型架构，通过结构对齐视觉与文本嵌入，让模型能同时理解图像和文字，适合做视觉问答、图文对话等任务。
Phantom 是一个文本到视频生成模型，通过跨模态对齐保持主体一致性，让生成视频中的角色或物体在不同镜头间保持统一外观。
.png){kind=small}
用视觉语言模型从 PDF、Word、PPT 和扫描件等难搞文档里提取干净结构化数据，省去手工清洗的麻烦。
给图像和视频的指定区域生成详细描述的多模态模型，支持局部定位的细粒度 captioning，适合需要精确区域理解与描述的场景。
把大语言模型和适配时空视频表示的视觉编码器结合，让模型能围绕视频内容展开有意义的对话，并提供视频对话模型的量化评测基准。
Prism 是腾讯混元提出的动态稀疏注意力框架，让视频-音频联合生成模型能原生训练到 2K 分辨率，解决高分辨率多模态生成算力吃紧的问题。
面向扩散模型和全模态模型的多模态强化学习训练框架，支持 GRPO、流匹配和 vLLM 推理，用来做图像生成与多模态模型的 RLHF 训练。
面向各类 Stable Diffusion 模型的高质量免训练图像修复方案，可作为 ComfyUI 自定义节点直接接入工作流，无需额外训练即可完成局部重绘。
在 Apple Silicon Mac 上原生微调大模型的工具，基于 MLX 支持 SFT、DPO、GRPO 以及视觉、语音、OCR 等多模态训练，API 兼容 Unsloth。
围绕 TTS 生成模型搭建的语音合成服务，提供 API Server 和 Gradio WebUI，方便快速部署和调用多种语音生成模型。
一种面向视频扩散模型的免训练缓存加速方法，利用时间步嵌入判断哪些步骤可以复用计算结果，从而在不重新训练的情况下显著提升推理速度。
开源图像编辑基础模型，能精准理解指令完成高保真修图，并保持人物身份一致、自然融合多元素，适合做图像编辑训练与微调。
面向开发者的模型优化框架，能对扩散模型、LLM、语音识别等模型做压缩加速，以极低改造成本换来更快、更省资源的推理。
面向扩散模型的可扩展、显存优化训练框架，基于 PyTorch 和 Diffusers，让大模型微调在有限显存下也能跑起来。
UNO 是字节跳动开源的通用图像定制方法，基于扩散 Transformer，用同一套框架同时支持单主体和多主体参考图生成，解决多主体一致性难的问题。
基于扩散模型的时间流逝视频生成模型，能把文本提示变成物体随时间逐渐变形的延时视频，还配套了专门的延时数据集。
跨 macOS 和 Windows 的实时语音翻译桌面应用，本地运行无需服务器，用自己的 API key 完成语音识别与翻译，并免费合成语音。
本地离线跑图像生成、实时语音对话和 LLM 聊天机器人的桌面推理引擎，数据不出本机，适合注重隐私的创作与自动化工作流。
用单步扩散模型修复 3D 重建中的伪影和缺失细节，提升 NeRF 与高斯泼溅的渲染质量，出自 CVPR 2025 Oral。
把 RVC、F5-TTS、Chatterbox、IndexTTS-2 等十多种本地语音合成与变声引擎集成进 ComfyUI，支持多语言、超长文本、SRT 时间轴和角色音色，一站式完成配音与音频编辑。
轻量级多模态模型库，能同时理解多语言文本和图像，速度比 OpenAI CLIP 和 LLaVA 快 5 倍，适合做图文检索和内容生成。
基于扩散模型的文本到音频生成工具，输入一段文字描述就能合成对应的声音片段，适合做音效生成和音频内容创作。