阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。

MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。

把网页直接当像素图像来检索的 RAG 引擎，跳过 HTML 解析，靠视觉语言模型做原生搜索，适合构建多模态 Agent 的长期记忆。

用两小时从零训练一个 65M 参数的多模态视觉语言模型，代码和流程完整，适合低成本复现 VLM 训练与对话实验。

开源多模态大模型家族，视觉语言能力接近 GPT-4o，支持图像分类、图文检索、语义分割和视频理解等任务。

用强化学习（GRPO）训练视觉语言模型做视觉理解，把 DeepSeek-R1 那套推理强化思路搬到多模态场景，适合研究 VLM 推理能力。

在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。

开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。

一个用人类反馈对齐任意模态大模型的开源训练框架，支持文本、视觉语言等多模态模型的 DPO 和 RLHF 微调。

Eagle 是一系列前沿视觉语言模型，主打以数据为中心的训练策略，能看图理解并回答多模态问题，适合做图文问答和视觉理解研究。

把位图转成 SVG 的视觉语言基础模型，将矢量化当作代码生成任务，输出高精度、可直接使用的 SVG 代码。

ERNIE 4.5 系列大模型与配套的工业级开发工具包 ERNIEKit，基于 PaddlePaddle，支持大语言模型和多模态模型的训练、微调与推理部署。

字节跳动开源的文档图像解析模型，用异构锚点提示把 PDF 和图片里的版面、文字、表格一次性解析成结构化内容，适合喂给 RAG 或做文档分析。

汇总视觉语言模型在视觉任务上的论文与资源清单，方便研究者快速跟进多模态预训练、迁移学习和知识蒸馏等方向的最新进展。

Skywork-R1V 是昆仑万维开源的多模态视觉语言推理模型系列，基于强化学习训练，擅长图像理解与复杂推理任务。

用 100 多张原创原理图把 LLM 和强化学习的关键算法讲清楚，适合想系统理解大模型训练与 RL 机制的人对照学习。

持续录制电脑屏幕和音频，把日常工作流整理成可检索的记录，帮你找出值得自动化的环节，并为 AI 智能体提供上下文。

MiniMax 官方开源的文本大模型 MiniMax-Text-01 和视觉语言模型 MiniMax-VL-01，基于线性注意力架构，可用于长上下文理解与多模态推理。

GLM-4.6V/4.5V/4.1V-Thinking 系列视觉语言模型，通过可扩展强化学习提升多模态推理能力，支持图像理解、视频理解和图文问答。

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。

用视觉语言模型做摄像头监控，能理解画面内容而不只是检测移动，适合替代传统 NVR 的简单告警。

基于多模态大模型的 GUI 智能体家族，能看懂手机和电脑界面并自动点击操作，帮你完成跨 App 的自动化任务。

基于苹果 MLX 框架的语音处理库，在 Apple Silicon 上高效完成语音合成、语音识别和语音转换，适合本地跑多模态语音任务。

开源微调 Qwen-VL 系列多模态大模型的实现，支持 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 等版本，方便按自己的数据定制视觉语言模型。

基于 Ray 的高性能 RLHF 训练框架，支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速，可扩展地完成大模型和视觉语言模型的对齐后训练。

从零构建的免费开源、无审查图像描述视觉语言模型，专为扩散模型训练生成高质量图片说明。

用视觉语言模型从 PDF、Word、PPT 和扫描件等难搞文档里提取干净结构化数据，省去手工清洗的麻烦。

开源多模态训练框架，基于 Qwen3 等底座训练视觉语言模型，降低多模态模型训练门槛。

一份持续更新的异常检测资源大全，汇总书籍、论文、视频和工具箱，覆盖传统方法与最新的 LLM、VLM 工作，适合快速入门和跟进前沿。

训练和推理 ColVision 系列视觉语言检索模型（ColPali、ColQwen2、ColSmol）的代码库，用多模态嵌入直接检索文档图像，省去 OCR 和文本解析步骤。

字节跳动开源的视觉语言基础模型，主打通用多模态理解与推理，在 60 个公开基准中有 38 项达到 SOTA，配套 Notebook 教程方便上手。

一个多模态语言 Agent 开发框架，把视觉模型和 LLM 编排在一起，帮你快速搭出能看能听的原型并推向生产。

面向机器人导航的开源平台，用多模态大模型和视觉语言动作模型构建通用导航基础模型，解决跨场景视觉导航与空间智能问题。

在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。

用 Rust 写的多后端 OCR/视觉语言模型引擎，支持 DeepSeek-OCR、PaddleOCR-VL 等模型和 DSQ 量化，无需 Python 即可本地跑起兼容 OpenAI 的服务和命令行。

主动感知上下文的 AI 助手，结合上下文工程与 ChatGPT Pulse 思路，自动收集并组织相关信息，为对话提供持续记忆和主动提醒。

从零训练原生视觉语言模型的开源系列，去掉独立视觉编码器，让多模态理解与生成在统一架构里完成。

小米开源的视觉语言模型，能看图回答问题，适合做视觉问答和多模态理解任务。

把视觉语言模型直接改造成机器人操作策略，无需改动架构就能训练出顶尖的视觉-语言-动作模型。

Alpha-CLIP 是 CVPR 2024 提出的 CLIP 改进模型，通过引入 alpha 通道掩码让视觉语言模型能聚焦图像中指定区域，解决传统 CLIP 无法控制关注位置的问题。