开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。

用两小时从零训练一个 65M 参数的多模态视觉语言模型，代码和流程完整，适合低成本复现 VLM 训练与对话实验。

VideoPrism 是 DeepMind 开源的视频理解基础视觉编码器，用自监督学习预训练，可直接抽取视频特征，支撑分类、检索、问答等下游任务。

从零训练原生视觉语言模型的开源系列，去掉独立视觉编码器，让多模态理解与生成在统一架构里完成。

把大语言模型和适配时空视频表示的视觉编码器结合，让模型能围绕视频内容展开有意义的对话，并提供视频对话模型的量化评测基准。

把视觉能力做成 LoRA 插件直接挂到语言模型上，无需额外视觉编码器就能做多模态理解，省显存也省部署成本。

BAAI 推出的无编码器视觉语言模型系列，跳过独立视觉编码器，直接用语言模型处理图像与文本，简化多模态架构并支持指令跟随。