多模态生成
共 434 个仓库
ImageReward 是 NeurIPS 2023 提出的文本生图人类偏好奖励模型，用人类偏好数据训练打分器，评估生成图像质量并支持 RLHF 微调扩散模型。
汇总 Segment Anything 相关论文、项目与应用的资源清单，方便快速跟进分割大模型在图像分割、目标检测、图像修复等方向的进展。
开源的多模态大扩散语言模型，用块扩散、混合思维链和统一强化学习，把多模态理解与生成放进同一个模型里做。
汇总扩散模型与强化学习结合方向的论文、代码和教程资源，方便研究者快速跟进这一交叉领域的最新进展。
在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。
Soprano 是一个超写实、低延迟的文本转语音引擎，能把文字快速合成接近真人音色的语音，适合需要即时发声的场景。
基于扩散模型生成逼真说话人像视频，通过连贯运动合成让口型与头部动作自然同步，适合做数字人播报和虚拟主播。
把 MiniMax 的语音合成、文生图、文生视频等生成能力封装成 MCP 服务，让 Claude 等支持 MCP 的客户端直接调用。
Infinity 是一个用位级自回归建模做高分辨率图像生成的模型，把 GPT 式架构扩展到视觉生成，解决高分辨率文生图的质量和扩展性问题。
字节跳动开源的视觉语言基础模型，主打通用多模态理解与推理，在 60 个公开基准中有 38 项达到 SOTA，配套 Notebook 教程方便上手。
基于流匹配的语音合成模型，通过表情符号控制说话风格，支持声音克隆，让 TTS 输出带情绪和语气变化。
MIMO 是一个可控角色视频合成模型，通过空间分解建模把人物和场景拆开处理，让用户能对角色动作和画面进行精细控制。
把微软 VibeVoice 语音合成模型接入 ComfyUI 的节点插件，支持单人和多人对话式语音生成，可直接在工作流里出高质量配音。
开源的 Android 语音助手应用，支持离线语音识别、唤醒词检测和语音合成，可替代系统自带助手。
Ovis 是一种多模态大语言模型架构，通过结构对齐视觉与文本嵌入，让模型能同时理解图像和文字，适合做视觉问答、图文对话等任务。
Phantom 是一个文本到视频生成模型，通过跨模态对齐保持主体一致性，让生成视频中的角色或物体在不同镜头间保持统一外观。
.png){kind=small}
用视觉语言模型从 PDF、Word、PPT 和扫描件等难搞文档里提取干净结构化数据，省去手工清洗的麻烦。
给图像和视频的指定区域生成详细描述的多模态模型，支持局部定位的细粒度 captioning，适合需要精确区域理解与描述的场景。
用视觉语言模型做摄像头监控，能理解画面内容而不只是检测移动，适合替代传统 NVR 的简单告警。
把大语言模型和适配时空视频表示的视觉编码器结合，让模型能围绕视频内容展开有意义的对话，并提供视频对话模型的量化评测基准。
Prism 是腾讯混元提出的动态稀疏注意力框架，让视频-音频联合生成模型能原生训练到 2K 分辨率，解决高分辨率多模态生成算力吃紧的问题。
面向双语会议的实时双向语音翻译工具，自动识别说话语言并双向互译，支持云端或完全离线本地运行，覆盖桌面端和浏览器插件。
面向扩散模型和全模态模型的多模态强化学习训练框架，支持 GRPO、流匹配和 vLLM 推理，用来做图像生成与多模态模型的 RLHF 训练。
面向各类 Stable Diffusion 模型的高质量免训练图像修复方案，可作为 ComfyUI 自定义节点直接接入工作流，无需额外训练即可完成局部重绘。