系统梳理多模态检索增强生成的研究进展,把图文音视频等跨模态检索与生成方法归拢成一份综述,帮研究者快速摸清这个方向的全貌。
一站式多模态 RAG 框架,把文本、图像等不同模态的检索与生成统一到同一套流程里,省去自己拼接多个组件的麻烦。
一站式语义搜索与 LLM 编排框架,把向量检索、RAG 和智能体工作流整合在一起,用 Python 就能搭建基于语言模型的应用。
用 EmbeddingGemma 2 在本地对照片、PDF、文档、录音、视频和代码做语义搜索,跨 Mac、Windows、Linux 的桌面文件检索工具。
面向多模态 AI 的嵌入式向量检索库,支持近似最近邻搜索和语义相似度检索,无需单独部署服务,帮开发者省去向量数据管理的麻烦。
训练和推理 ColVision 系列视觉语言检索模型(ColPali、ColQwen2、ColSmol)的代码库,用多模态嵌入直接检索文档图像,省去 OCR 和文本解析步骤。
ViDoRe 是评估视觉文档检索的基准与评测代码,配套 ColPali 论文,用于衡量多模态检索模型在图文文档上的检索效果。
基于视觉语言模型的无解析 RAG 方案,直接把文档当图片做检索和生成,省去 OCR 和版面解析环节,减少信息损失。
兼容 MySQL 的多模态向量数据库,用统一 SQL 同时查询结构化与非结构化数据,支持向量 upsert 和检索,主打高并发、超低延迟。
ColPali 的实战教程合集,手把手教你在多模态 RAG 场景里训练、微调和改造 ColPali 视觉检索模型。
纯 Swift 实现的单文件记忆层,让多个 Agent 在 Apple Silicon 上本地完成文本、图片和视频的亚毫秒级 RAG 检索,无需服务器和 API。
本地部署的多模态 RAG 工具,能对各类技术文档做检索和问答交互,文档不出本机。