关键词：视觉语言模型
描述或关键词里包含「视觉语言模型」的项目，共 118 个。找不到想要的？试试完整搜索。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。
开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。
阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。
把网页直接当像素图像来检索的 RAG 引擎，跳过 HTML 解析，靠视觉语言模型做原生搜索，适合构建多模态 Agent 的长期记忆。
开源多模态大模型家族，视觉语言能力接近 GPT-4o，支持图像分类、图文检索、语义分割和视频理解等任务。
基于 Ray 的高性能 RLHF 训练框架，支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速，可扩展地完成大模型和视觉语言模型的对齐后训练。
汇总全球优质大模型学习资料，覆盖多模态生成、Agent、辅助编程、模型训练与推理、RAG 等方向，帮开发者快速找到教程、课程和实战资源。
字节跳动开源的文档图像解析模型，用异构锚点提示把 PDF 和图片里的版面、文字、表格一次性解析成结构化内容，适合喂给 RAG 或做文档分析。
用两小时从零训练一个 65M 参数的多模态视觉语言模型，代码和流程完整，适合低成本复现 VLM 训练与对话实验。
用强化学习（GRPO）训练视觉语言模型做视觉理解，把 DeepSeek-R1 那套推理强化思路搬到多模态场景，适合研究 VLM 推理能力。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。
一个用人类反馈对齐任意模态大模型的开源训练框架，支持文本、视觉语言等多模态模型的 DPO 和 RLHF 微调。
把位图转成 SVG 的视觉语言基础模型，将矢量化当作代码生成任务，输出高精度、可直接使用的 SVG 代码。
统一评测文本、图像、视频和音频任务的多模态大模型工具箱，一套流程跑完各类基准，省去为每个模态单独搭评测脚本的麻烦。
Eagle 是一系列前沿视觉语言模型，主打以数据为中心的训练策略，能看图理解并回答多模态问题，适合做图文问答和视觉理解研究。
开源文档解析模型，用强化自迭代（RSI）循环做后训练，在准确率和速度上达到 SOTA，适合给 LLM 和 Agent 做 OCR 与文档理解。
MiniMax 官方开源的文本大模型 MiniMax-Text-01 和视觉语言模型 MiniMax-VL-01，基于线性注意力架构，可用于长上下文理解与多模态推理。
Skywork-R1V 是昆仑万维开源的多模态视觉语言推理模型系列，基于强化学习训练，擅长图像理解与复杂推理任务。
开源的 AI 摄像头与 NVR 监控平台，用本地 VLM 和 YOLO 做视频分析，并通过 Telegram、Discord、Slack 推送智能安防告警。
汇总视觉语言模型在视觉任务上的论文与资源清单，方便研究者快速跟进多模态预训练、迁移学习和知识蒸馏等方向的最新进展。
训练和推理 ColVision 系列视觉语言检索模型（ColPali、ColQwen2、ColSmol）的代码库，用多模态嵌入直接检索文档图像，省去 OCR 和文本解析步骤。
一站式微调多模态模型的工具，支持 PaliGemma 2、Florence-2、Qwen2.5-VL 等，覆盖图像描述、目标检测和视觉问答任务，省去手写训练脚本的麻烦。
一个多模态语言 Agent 开发框架，把视觉模型和 LLM 编排在一起，帮你快速搭出能看能听的原型并推向生产。
GLM-4.6V/4.5V/4.1V-Thinking 系列视觉语言模型，通过可扩展强化学习提升多模态推理能力，支持图像理解、视频理解和图文问答。
用 Rust 写的多后端 OCR/视觉语言模型引擎，支持 DeepSeek-OCR、PaddleOCR-VL 等模型和 DSQ 量化，无需 Python 即可本地跑起兼容 OpenAI 的服务和命令行。
开源微调 Qwen-VL 系列多模态大模型的实现，支持 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 等版本，方便按自己的数据定制视觉语言模型。
基于 GPU 加速的视频分析智能体参考架构，用视觉语言模型、LLM 和 RAG 实现长视频的实时告警、视觉问答与自动报告生成。
汇总大语言模型、视觉语言模型、视觉-语言-动作模型和世界模型在自动驾驶领域的研究资源清单，持续更新，方便快速找到相关论文与项目。
在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。
字节跳动开源的视觉语言基础模型，主打通用多模态理解与推理，在 60 个公开基准中有 38 项达到 SOTA，配套 Notebook 教程方便上手。
Ovis 是一种多模态大语言模型架构，通过结构对齐视觉与文本嵌入，让模型能同时理解图像和文字，适合做视觉问答、图文对话等任务。
.png){kind=small}
用视觉语言模型从 PDF、Word、PPT 和扫描件等难搞文档里提取干净结构化数据，省去手工清洗的麻烦。
给图像和视频的指定区域生成详细描述的多模态模型，支持局部定位的细粒度 captioning，适合需要精确区域理解与描述的场景。
用视觉语言模型做摄像头监控，能理解画面内容而不只是检测移动，适合替代传统 NVR 的简单告警。
收录 200+ 视觉语言模型（VLM/MLLM）架构的图文目录，整理论文、结构图、训练配方、数据集和发布时间线，方便快速查阅和对比多模态模型设计。
汇总统一多模态模型的开源资源清单，涵盖图文生成、视觉语言模型等方向，方便快速查找和对比各类多模态大模型。
从零构建的免费开源、无审查图像描述视觉语言模型，专为扩散模型训练生成高质量图片说明。
轻量级多模态模型库，能同时理解多语言文本和图像，速度比 OpenAI CLIP 和 LLaVA 快 5 倍，适合做图文检索和内容生成。
开源多模态训练框架，基于 Qwen3 等底座训练视觉语言模型，降低多模态模型训练门槛。
开源的端到端视觉语言模型 GUI 智能体，能看懂屏幕截图并直接操作图形界面，帮你自动完成电脑上的点击、输入等交互任务。
DoRA 是一种把权重分解为幅度和方向两部分再做低秩适配的微调方法，用更少的可训练参数逼近全量微调效果，适合大模型和视觉语言模型的高效微调。
用游戏当测试场来评估 LLM/VLM 智能体的框架，提供可复现的游戏环境和评测流程，方便对比不同模型在交互决策上的表现。
基于视觉语言模型的无解析 RAG 方案，直接把文档当图片做检索和生成，省去 OCR 和版面解析环节，减少信息损失。
GLaMM 是首个能把自然语言回答和物体分割掩码无缝结合的多模态大模型，让模型在对话中直接指出并分割出提到的物体。
从零训练原生视觉语言模型的开源系列，去掉独立视觉编码器，让多模态理解与生成在统一架构里完成。
精选 CVPR 2025 最具影响力的计算机视觉论文合集，每篇附论文、代码和演示，方便快速跟进检测、分割、多模态等方向的前沿工作。
用高分辨率语义编码器把视觉理解与图像生成统一到一个模型里，既能读懂图片，也能做文生图和图像编辑。
Alpha-CLIP 是 CVPR 2024 提出的 CLIP 改进模型，通过引入 alpha 通道掩码让视觉语言模型能聚焦图像中指定区域，解决传统 CLIP 无法控制关注位置的问题。
OpenCUA 提供构建电脑操作智能体（CUA）的开放基础，包含数据集、基础模型和评测基准，让 GUI 自动化智能体有可复现的训练与评估方案。
开源 11B 参数的多模态视觉语言模型，专攻长视频和实时流式视频理解，可用于视频问答等场景。
汇集大模型、视觉语言模型、视觉语言动作模型与 AIGC 相关的优质开源项目、数据集和应用，帮开发者快速找到所需资源。
多模态指令驱动的矢量动画生成器，输入文字或图片即可输出可直接使用的 Lottie JSON 动画文件，省去手工制作矢量动画的繁琐流程。
整理 CLIP 等视觉语言模型上 prompt learning 与 adapter learning 方法的论文清单，方便做少样本、零样本分类的研究者快速找到相关工作和基线。
把视觉语言模型变成通用多模态嵌入模型，配套 MMEB 系列基准，用于图文视频检索和 RAG 场景的表示学习评测。
OmniVinci 是英伟达开源的全模态大模型，能同时理解视觉、音频和语言三种输入，适合做多模态联合推理与训练研究。
小米开源的视觉语言模型，能看图回答问题，适合做视觉问答和多模态理解任务。
基于认知强化学习、用推理链引导的文本指代图像分割方案，让多模态大模型先推理再分割，提升复杂场景下的分割精度。
面向 AI Agent 的文档解析评测基准，覆盖 OCR、PDF 解析和表格抽取，用统一指标对比不同模型与工具在真实文档上的解析效果。
基于预训练模型的持续学习工具箱，集成多种增量学习与终身学习算法，方便在视觉和视觉语言模型上做可复现的持续学习实验。
用 VQAScore 给文生图、文生视频和文生 3D 模型打分的评测工具，基于视觉语言模型判断生成内容与文本提示是否匹配。
共 118 个，这里展示前 60 个。