阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。

MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。

把网页直接当像素图像来检索的 RAG 引擎，跳过 HTML 解析，靠视觉语言模型做原生搜索，适合构建多模态 Agent 的长期记忆。

用两小时从零训练一个 65M 参数的多模态视觉语言模型，代码和流程完整，适合低成本复现 VLM 训练与对话实验。

开源多模态大模型家族，视觉语言能力接近 GPT-4o，支持图像分类、图文检索、语义分割和视频理解等任务。

用强化学习（GRPO）训练视觉语言模型做视觉理解，把 DeepSeek-R1 那套推理强化思路搬到多模态场景，适合研究 VLM 推理能力。

在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。

开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。

ERNIE 4.5 系列大模型与配套的工业级开发工具包 ERNIEKit，基于 PaddlePaddle，支持大语言模型和多模态模型的训练、微调与推理部署。

字节跳动开源的文档图像解析模型，用异构锚点提示把 PDF 和图片里的版面、文字、表格一次性解析成结构化内容，适合喂给 RAG 或做文档分析。

用 100 多张原创原理图把 LLM 和强化学习的关键算法讲清楚，适合想系统理解大模型训练与 RL 机制的人对照学习。

持续录制电脑屏幕和音频，把日常工作流整理成可检索的记录，帮你找出值得自动化的环节，并为 AI 智能体提供上下文。

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。

基于多模态大模型的 GUI 智能体家族，能看懂手机和电脑界面并自动点击操作，帮你完成跨 App 的自动化任务。

基于苹果 MLX 框架的语音处理库，在 Apple Silicon 上高效完成语音合成、语音识别和语音转换，适合本地跑多模态语音任务。

基于 Ray 的高性能 RLHF 训练框架，支持 PPO、DAPO、REINFORCE++ 等算法与 vLLM 推理加速，可扩展地完成大模型和视觉语言模型的对齐后训练。

一份持续更新的异常检测资源大全，汇总书籍、论文、视频和工具箱，覆盖传统方法与最新的 LLM、VLM 工作，适合快速入门和跟进前沿。

主动感知上下文的 AI 助手，结合上下文工程与 ChatGPT Pulse 思路，自动收集并组织相关信息，为对话提供持续记忆和主动提醒。

Google 开源的智能体应用开发框架，支持 JavaScript、Go、Dart 和 Python，内置 LLM 调用、多模态、RAG 与向量检索能力，帮开发者快速搭建生产级 AI 应用。

汇总全球优质大模型学习资料，覆盖多模态生成、Agent、辅助编程、模型训练与推理、RAG 等方向，帮开发者快速找到教程、课程和实战资源。