面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。

原生多模态大模型，把文本和图像统一到 3D 生成与理解任务中，支持文生 3D、图生 3D、3D 描述和编辑。

面向视频场景的空间超级感知多模态大模型，专注提升视觉语言模型对视频中空间关系的理解与推理能力。

把语音、音频、音乐接进大语言模型做多模态处理的开源框架，支持参数高效微调，方便快速搭建语音理解与生成任务。

阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。

开源计算机使用智能体，能像人一样操作图形界面完成桌面任务，靠多模态大模型、规划与记忆实现自动化操作。

基于多模态大模型的 GUI 智能体家族，能看懂手机和电脑界面并自动点击操作，帮你完成跨 App 的自动化任务。

开源多模态大模型家族，视觉语言能力接近 GPT-4o，支持图像分类、图文检索、语义分割和视频理解等任务。

让多模态大模型直接看屏幕、动鼠标键盘来操作电脑的框架，把自然语言指令变成实际的桌面自动化操作。

面向大模型应用开发的 RAG 全栈实战教程，覆盖文本向量化、检索、重排与多模态等环节，手把手带你搭建检索增强生成系统。

开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。

面向大模型训练的数据处理流水线，把原始多模态数据清洗、过滤、去重并加工成高质量指令微调语料。

跨平台视频结构化分析框架，基于 C++ 和 GStreamer 串联 CV 模型与多模态大模型，把视频流拆解成人脸、车牌、行为等结构化信息。

基于多模态大模型的目标检测方案，把检测任务转成下一个点预测，支持开放场景下检测任意物体。

一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。

字节跳动开源的多模态大模型系列，能同时理解语音、音频、音乐和视觉信息，用于语音识别与视听内容理解等研究任务。

面向机器人导航的开源平台，用多模态大模型和视觉语言动作模型构建通用导航基础模型，解决跨场景视觉导航与空间智能问题。

GLaMM 是首个能把自然语言回答和物体分割掩码无缝结合的多模态大模型，让模型在对话中直接指出并分割出提到的物体。

面向超长视频的检索增强生成框架，让大模型能直接和你上传的视频对话，解决长视频内容理解与精准问答的问题。

基于认知强化学习、用推理链引导的文本指代图像分割方案，让多模态大模型先推理再分割，提升复杂场景下的分割精度。

把 SAM 的分割能力扩展到任意分割任务的多模态大模型，支持文本指令驱动的通用图像分割。

统一评测文本、图像、视频和音频任务的多模态大模型工具箱，一套流程跑完各类基准，省去为每个模态单独搭评测脚本的麻烦。

飞桨多模态大模型开发套件，覆盖图文理解、生成到扩散模型的全流程，提供预训练模型与高性能训练推理工具。

一个能自我进化的照片编辑智能体，通过编辑器和评估器协同优化，让多模态大模型学会像修图师一样自动调色和修图。

把草图或科学图表图片自动转成可编辑的 TikZ/LaTeX 绘图代码，省去手写矢量图代码的麻烦。

统一的多模态大模型，能高效理解图像、高分辨率图像和视频，用极少的视觉 token 完成多模态推理，适合显存和算力受限的场景。

系统梳理基于多模态大模型的 OS Agent 研究，覆盖电脑、手机和浏览器三类操作场景，适合快速建立该方向的技术全景。

把多模态大模型变成能调度各类计算机视觉任务的通用路由器，用指令调优统一处理检测、分割等任务，免去为每个任务单独建模。

基于多模态大模型的视频剪辑智能体，能把文字需求直接变成成片，自动完成剪辑、合成与全流程视频生产。

面向长视频理解的可插拔检索增强框架，无需训练即可为多模态大模型补充视觉对齐的检索证据，提升长视频问答效果。

面向多模态大模型训练的数据集构建与评估平台，支持数据集的智能生成、管理与质量评估，帮助团队高效准备 VLM 训练数据。

用强化学习把目标检测、分割、计数等视觉感知任务统一进多模态大模型的推理流程，让模型边推理边定位。

面向流式视频场景的空间智能框架，用测试时训练让多模态大模型持续理解三维空间关系，解决长视频中空间推理能力退化的问题。

统一多模态模型的强化学习训练框架，打通 SGLang、vLLM 推理后端，方便把多模态大模型跑通 RL 训练流程。

Ovis 是一种多模态大语言模型架构，通过结构对齐视觉与文本嵌入，让模型能同时理解图像和文字，适合做视觉问答、图文对话等任务。

开源微调 Qwen-VL 系列多模态大模型的实现，支持 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 等版本，方便按自己的数据定制视觉语言模型。

把大语言模型和适配时空视频表示的视觉编码器结合，让模型能围绕视频内容展开有意义的对话，并提供视频对话模型的量化评测基准。

把视觉能力做成 LoRA 插件直接挂到语言模型上，无需额外视觉编码器就能做多模态理解，省显存也省部署成本。

把生成模型里隐含的 3D 先验知识迁移到场景理解任务上，让视觉语言模型在空间推理时更懂三维结构。