用一个 Transformer 统一多模态理解与生成,既能看图回答,也能按文字生成图像,省去多模型拼接的麻烦。
微软开源的统一多模态模型,用流匹配做图像编辑与文生图,同时支持流式视频理解和 GUI 电脑操作 Agent。
统一多模态模型的强化学习训练框架,打通 SGLang、vLLM 推理后端,方便把多模态大模型跑通 RL 训练流程。
把语言模型直接当作统一的多模态生成器,用自回归方式同时做文本到图像生成,省去额外扩散模型。
统一多模态模型,把图文理解、文生图和图像编辑整合进同一套框架,省去为不同任务分别部署模型的麻烦。
统一的多模态大模型,能高效理解图像、高分辨率图像和视频,用极少的视觉 token 完成多模态推理,适合显存和算力受限的场景。
面向视频/音频片段检索与高光检测的可复现 Python 库,统一多模态流程,方便研究者快速复现和对比实验结果。
汇总统一多模态模型的开源资源清单,涵盖图文生成、视觉语言模型等方向,方便快速查找和对比各类多模态大模型。
汇总多模态建模相关资源,覆盖多模态大模型(MLLM)、统一多模态模型(UMM)和原生多模态模型(NMM),方便快速查找论文与工具。