系统梳理多模态检索增强生成的研究进展，把图文音视频等跨模态检索与生成方法归拢成一份综述，帮研究者快速摸清这个方向的全貌。

统一加载和运行文本、视觉、音频、多模态的预训练模型，覆盖推理与训练，省去为每个模型重写代码的麻烦。

字节开源的多模态 AI Agent 桌面栈，把前沿模型和 Agent 基础设施连起来，让 Agent 能像人一样操作 GUI、浏览器和电脑完成任务。

一套统一接口搞定 100+ 大语言模型和多模态模型的微调，支持 LoRA 等高效训练方式，省去为每个模型单独写训练脚本的麻烦。

用对比学习把图像和文本映射到同一嵌入空间，实现零样本图像分类和图文匹配，是跨模态检索与多模态模型的经典底座。

一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。

高性能大模型与多模态模型推理服务框架，通过优化注意力机制和调度策略提升吞吐与延迟表现，支持 Llama、DeepSeek、MoE 等主流模型部署。

MiniCPM-V 是面壁智能开源的多模态视觉语言模型，能在手机、PC 等本地设备上完成看图、听音和对话交互，无需依赖云端。

ERNIE 4.5 系列大模型与配套的工业级开发工具包 ERNIEKit，基于 PaddlePaddle，支持大语言模型和多模态模型的训练、微调与推理部署。

开源多模态大模型家族，视觉语言能力接近 GPT-4o，支持图像分类、图文检索、语义分割和视频理解等任务。

让多模态大模型直接看屏幕、动鼠标键盘来操作电脑的框架，把自然语言指令变成实际的桌面自动化操作。

面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。

面向 LLM 应用的多智能体开发框架，支持多模态、语音与实时交互，让智能体的构建、运行和调试过程可见、可理解、可信。

一站式多模态 RAG 框架，把文本、图像等不同模态的检索与生成统一到同一套流程里，省去自己拼接多个组件的麻烦。

阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。

面向中文用户的 Linux 环境大模型实战教程，手把手教你在本地微调（全参数/LoRA）和部署国内外开源 LLM 与多模态模型。

面向 AI Agent 的多模态数据运行时，提供无服务器 Postgres 与数据湖，支持大规模检索和模型训练。

面向大模型训练的数据处理流水线，把原始多模态数据清洗、过滤、去重并加工成高质量指令微调语料。

把 Claude、Cursor 等 AI 编程助手变成完整的视频制作工作室，内置 12 条制作流水线和 100+ 工具，覆盖从生成到剪辑的全流程。

开源实现的 CLIP 多模态模型，提供图像-文本对比学习训练与预训练权重，支持零样本图像分类和跨模态检索。

面向大模型应用开发的 RAG 全栈实战教程，覆盖文本向量化、检索、重排与多模态等环节，手把手带你搭建检索增强生成系统。

SeaTunnel 是高性能分布式数据集成工具，支持批处理、CDC 变更捕获和多模态数据接入，用于海量数据在异构系统间高效同步。

面向 AI 与多模态负载的高性能数据引擎，用 Rust 编写，能大规模处理图像、音频、视频和结构化数据，适合搭建 ETL 与数据管道。

用两小时从零训练一个 65M 参数的多模态视觉语言模型，代码和流程完整，适合低成本复现 VLM 训练与对话实验。

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型，几行代码就能接入，省去自己适配硬件的麻烦。

面向多模态 AI 的嵌入式向量检索库，支持近似最近邻搜索和语义相似度检索，无需单独部署服务，帮开发者省去向量数据管理的麻烦。

跨平台桌面标注工具，支持文本、图像、视频、点云和多模态数据，内置 AI 模型辅助预标注，可导出多种格式。

把大语言模型和 Hugging Face 上的各类模型连起来，让 LLM 自动挑选、调用合适的模型完成多模态任务，相当于给模型加了个调度中枢。

用强化学习训练 Transformer 语言模型的全流程库，覆盖 SFT、奖励建模到 PPO/DPO 等 RLHF 算法，省去自己拼训练管线。

用 PyTorch 从零实现的轻量级 vLLM，代码精简易读，适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。

面向多模态 AI 的开放湖仓数据格式，两行代码即可从 Parquet 转换，实现百倍随机访问加速、向量索引和数据版本管理，兼容 Pandas、DuckDB、PyTorch 等生态。

在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包，支持 LLaVA、Pixtral、Florence2 等多种 VLM，本地即可完成多模态任务。

用 Playwright 加 AI 盯闲鱼，多任务实时或定时监控商品并做智能分析，配后台管理界面，帮你从海量二手商品里筛出想要的。

把网页直接当像素图像来检索的 RAG 引擎，跳过 HTML 解析，靠视觉语言模型做原生搜索，适合构建多模态 Agent 的长期记忆。

一站式可视化 AI Agent 开发平台，用拖拽式工具完成智能体的创建、调试和部署，大幅降低搭建聊天机器人与多模态应用的门槛。

开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。

基于 Stream 边缘网络快速搭建语音与视觉智能体，可接入任意模型或视频源，实现超低延迟的实时多模态交互。

一站式语义搜索与 LLM 编排框架，把向量检索、RAG 和智能体工作流整合在一起，用 Python 就能搭建基于语言模型的应用。

把 PDF、Word、PPT 解析成适合喂给大模型的格式，尽量不丢内容，省去自己清洗文档的麻烦。

开源计算机使用智能体，能像人一样操作图形界面完成桌面任务，靠多模态大模型、规划与记忆实现自动化操作。