把网页直接当像素图像来检索的 RAG 引擎，跳过 HTML 解析，靠视觉语言模型做原生搜索，适合构建多模态 Agent 的长期记忆。

基于视觉语言模型的无解析 RAG 方案，直接把文档当图片做检索和生成，省去 OCR 和版面解析环节，减少信息损失。

微软出品的 5 周 RAG 学习路线，用 Jupyter Notebook 带你从索引、混合检索到量化压缩，系统掌握检索增强生成。

面向长视频理解的可插拔检索增强框架，无需训练即可为多模态大模型补充视觉对齐的检索证据，提升长视频问答效果。

汇集土堆 PyTorch、李沐《动手学深度学习》、吴恩达深度学习和大模型 Agent 四套课程的中文笔记，适合系统入门深度学习与大模型应用开发。

面向手机等消费级设备的 LLM 推理引擎，用 2bit 量化和手写内核把大模型塞进端侧运行，主打低显存、跨 Android/iOS 的 ARM 部署。

把 PDF、Office 文档等各类文件转成 Markdown 的 Python 工具，方便喂给 LLM 或做文档处理。

Google 开源的智能体应用开发框架，支持 JavaScript、Go、Dart 和 Python，内置 LLM 调用、多模态、RAG 与向量检索能力，帮开发者快速搭建生产级 AI 应用。

主动感知上下文的 AI 助手，结合上下文工程与 ChatGPT Pulse 思路，自动收集并组织相关信息，为对话提供持续记忆和主动提醒。

字节跳动开源的文档图像解析模型，用异构锚点提示把 PDF 和图片里的版面、文字、表格一次性解析成结构化内容，适合喂给 RAG 或做文档分析。

一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK，覆盖 Android、iOS、Flutter，省去自己搭推理链路的麻烦。

一个多模态语言 Agent 开发框架，把视觉模型和 LLM 编排在一起，帮你快速搭出能看能听的原型并推向生产。

训练和推理 ColVision 系列视觉语言检索模型（ColPali、ColQwen2、ColSmol）的代码库，用多模态嵌入直接检索文档图像，省去 OCR 和文本解析步骤。

基于 GPU 加速的视频分析智能体参考架构，用视觉语言模型、LLM 和 RAG 实现长视频的实时告警、视觉问答与自动报告生成。

开箱即用的企业级视觉 RAG 与多步 Agent 编排平台，能直接解析文档并构建知识库，省去从零搭建智能系统的麻烦。

把视觉语言模型变成通用多模态嵌入模型，配套 MMEB 系列基准，用于图文视频检索和 RAG 场景的表示学习评测。

ColPali 的实战教程合集，手把手教你在多模态 RAG 场景里训练、微调和改造 ColPali 视觉检索模型。

ViDoRe 是评估视觉文档检索的基准与评测代码，配套 ColPali 论文，用于衡量多模态检索模型在图文文档上的检索效果。

在 Mac 上用 MLX 本地跑视觉和文本嵌入模型的 Python 包，方便给 RAG 和检索应用生成向量，不用依赖云端 API。

《Transformers for NLP and Computer Vision》第三版配套代码，用 Jupyter Notebook 演示 BERT、CLIP、DALL·E 3、GPT-4o、Gemini 等模型在 NLP、视觉和 RAG 任务中的实战用法。

本地部署的多模态 RAG 工具，能对各类技术文档做检索和问答交互，文档不出本机。

复现 DeepSeek-OCR 多模态文档识别模型，包含完整训练流程，可自行训练和部署用于文档解析与 RAG 场景的 OCR。

汇总全球优质大模型学习资料，覆盖多模态生成、Agent、辅助编程、模型训练与推理、RAG 等方向，帮开发者快速找到教程、课程和实战资源。