标签：多模态
技术标签，共 94 个项目。
本地优先的 AI 智能体工作台，把文档、对话和工具整合成可私有部署的知识库与代理，数据留在自己机器上，不用租用云端智能服务。
一本系统讲解 AI Agent 设计原理与工程实践的开源书，含全书正文、PDF 和按章配套 Python 代码，覆盖记忆、上下文工程、RAG、多智能体等主题。
字节开源的多模态 AI Agent 桌面栈，把前沿模型和 Agent 基础设施连起来，让 Agent 能像人一样操作 GUI、浏览器和电脑完成任务。
开源的多模态视觉指令微调模型，让 LLaMA 类大模型能看图对话，效果对标 GPT-4V，适合做图文问答和视觉助手。
持续录制电脑屏幕和音频，把日常工作流整理成可检索的记录，帮你找出值得自动化的环节，并为 AI 智能体提供上下文。
一站式大模型训练框架，支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练，可用 LoRA 等 PEFT 方式或全参数微调。
面向大模型应用开发的 RAG 全栈实战教程，覆盖文本向量化、检索、重排与多模态等环节，手把手带你搭建检索增强生成系统。
把网页直接当像素图像来检索的 RAG 引擎，跳过 HTML 解析，靠视觉语言模型做原生搜索，适合构建多模态 Agent 的长期记忆。
一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK，覆盖 Android、iOS、Flutter，省去自己搭推理链路的麻烦。
SeaTunnel 是高性能分布式数据集成工具，支持批处理、CDC 变更捕获和多模态数据接入，用于海量数据在异构系统间高效同步。
基于多模态大模型的 GUI 智能体家族，能看懂手机和电脑界面并自动点击操作，帮你完成跨 App 的自动化任务。
面向 AI Agent 的多模态数据运行时，提供无服务器 Postgres 与数据湖，支持大规模检索和模型训练。
把训练好的模型快速封装成推理 API 和任务队列，支持 LLM 应用与多模型流水线，省去自己搭服务框架的麻烦。
基于苹果 MLX 框架的语音处理库，在 Apple Silicon 上高效完成语音合成、语音识别和语音转换，适合本地跑多模态语音任务。
面向全模态模型的高效推理框架，支持图像、视频、音频生成与多模态模型服务，基于 PyTorch 提供统一的推理与部署能力。
Google 开源的智能体应用开发框架，支持 JavaScript、Go、Dart 和 Python，内置 LLM 调用、多模态、RAG 与向量检索能力，帮开发者快速搭建生产级 AI 应用。
用 EmbeddingGemma 2 在本地对照片、PDF、文档、录音、视频和代码做语义搜索，跨 Mac、Windows、Linux 的桌面文件检索工具。
用强化学习（GRPO）训练视觉语言模型做视觉理解，把 DeepSeek-R1 那套推理强化思路搬到多模态场景，适合研究 VLM 推理能力。
面向 AI 与多模态负载的高性能数据引擎，用 Rust 编写，能大规模处理图像、音频、视频和结构化数据，适合搭建 ETL 与数据管道。
低代码 MCP 框架，用可视化方式快速搭建复杂 RAG 流水线，省去大量胶水代码，适合快速验证检索增强生成方案。
给 DeepSeek、GLM 等纯文本编码助手外挂视觉能力的插件，粘贴图片即可输出包含 OCR、版面和语义的结构化 JSON 证据。
一个用人类反馈对齐任意模态大模型的开源训练框架，支持文本、视觉语言等多模态模型的 DPO 和 RLHF 微调。
Ruby 生态里统一接入 OpenAI、Anthropic、Gemini 等大模型与向量嵌入的 AI 开发框架，支持构建智能体和多模型编排。
统一评测文本、图像、视频和音频任务的多模态大模型工具箱，一套流程跑完各类基准，省去为每个模态单独搭评测脚本的麻烦。
开源语音合成模型家族，支持长语音、对话合成、音色设计、音效生成和实时流式 TTS，适合搭建多语言语音生成服务。
封神榜大模型是 IDEA 研究院开源的中文大模型体系，提供预训练模型、分布式训练和多模态能力，为中文 AIGC 与认知智能应用提供基础模型支撑。
给 LLM Agent 用的长期记忆系统，通过压缩和知识图谱把文本与多模态历史高效存下来，让 Agent 跨会话记住关键信息。
跨语言、跨模态的嵌入模型评测基准，覆盖检索、聚类、重排序等任务，帮你选型对比不同 embedding 模型的实际效果。
一套可扩展的列柱式压缩框架，也是目前最快的开源列柱式文件格式，面向多模态和 Arrow 数据的高效存储与读取。
在真实操作系统环境里评测多模态智能体的基准平台，支持开放式任务，覆盖 GUI 操作、命令行和代码生成等场景。
把 S3、GCS、Azure 上的非结构化数据整理成带类型、可版本化的数据集，方便 AI Agent 和机器学习流程直接读取和复用。
用基础模型自动给图片打标签，再拿这些标注训练自己的监督视觉模型，省掉人工标注的环节。
一站式微调多模态模型的工具，支持 PaliGemma 2、Florence-2、Qwen2.5-VL 等，覆盖图像描述、目标检测和视觉问答任务，省去手写训练脚本的麻烦。
一个多模态语言 Agent 开发框架，把视觉模型和 LLM 编排在一起，帮你快速搭出能看能听的原型并推向生产。
一份生成式 AI 学习资源合集，涵盖学习路线图、实战项目、应用案例以及面试和编码准备，适合系统入门大模型与 Agent 开发。
整理模型量化领域的论文、基准、综述和工具，覆盖低比特网络、大模型、多模态生成模型以及向量与格量化，方便做高效推理部署时查资料。
汇总文本到图像生成与合成领域论文、模型和资源的综述清单，方便快速了解 GAN、多模态等方向的研究进展。
把视频按场景切分、去重抽帧并配上字幕文本，让 Claude 等大模型真正「看懂」视频内容，支持 URL 或本地文件，全程本地运行。
在本地设备上跑实时多模态 AI 的 Python 项目，整合语音识别、语音合成和本地大模型，实现类似 GPT-Live 的实时对话体验，支持 Apple Silicon 和 MLX。
用一个 Transformer 统一多模态理解与生成，既能看图回答，也能按文字生成图像，省去多模型拼接的麻烦。
开源微调 Qwen-VL 系列多模态大模型的实现，支持 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 等版本，方便按自己的数据定制视觉语言模型。
阿里通义实验室 OCR 团队维护的文档智能算法集合，涵盖端到端 OCR、文档理解与多模态文档分析，帮开发者处理复杂文档识别任务。
把草图或科学图表图片自动转成可编辑的 TikZ/LaTeX 绘图代码，省去手写矢量图代码的麻烦。
微软开源的统一多模态模型，用流匹配做图像编辑与文生图，同时支持流式视频理解和 GUI 电脑操作 Agent。
面向交互式超级智能系统的高性能推理服务运行时，支持语音识别、音频与音乐生成等多模态模型，并提供 OpenAI 兼容 API。
在手机等移动设备上高效运行多模态大模型的 C++ 推理引擎，让视觉语言模型能在端侧低资源环境下完成推理。
Ovis 是一种多模态大语言模型架构，通过结构对齐视觉与文本嵌入，让模型能同时理解图像和文字，适合做视觉问答、图文对话等任务。
.png){kind=small}
用视觉语言模型从 PDF、Word、PPT 和扫描件等难搞文档里提取干净结构化数据，省去手工清洗的麻烦。
面向扩散模型和全模态模型的多模态强化学习训练框架，支持 GRPO、流匹配和 vLLM 推理，用来做图像生成与多模态模型的 RLHF 训练。
给 Claude Code 装上视频理解能力：用 ffmpeg 抽帧、Whisper 转写音轨，再交给多模态模型分析画面与声音，让 Agent 能直接看懂视频内容。
汇总日语大语言模型资源的清单，涵盖基础模型与生成式模型，方便快速查找和对比日语 LLM 生态。
收录 200+ 视觉语言模型（VLM/MLLM）架构的图文目录，整理论文、结构图、训练配方、数据集和发布时间线，方便快速查阅和对比多模态模型设计。
本地离线跑图像生成、实时语音对话和 LLM 聊天机器人的桌面推理引擎，数据不出本机，适合注重隐私的创作与自动化工作流。
给纯文本大模型补上视觉能力的工具箱，支持多图理解、长截图 OCR、前端 UI 还原和 GUI 自动化，可无缝接入 Claude Code、Codex 等主流 agent。
轻量级多模态模型库，能同时理解多语言文本和图像，速度比 OpenAI CLIP 和 LLaVA 快 5 倍，适合做图文检索和内容生成。
把 ChatGPT、Claude、Gemini、Perplexity 接到本地编码工具上的多 AI MCP 服务器，不用自己申请 API Key 就能让多个模型协同干活。
单模型同时生成画面与声音的基座模型，解决视频和音频分开生成后不同步的问题，适合做带声视频创作。
LanceDB 官方的示例与教程合集，用向量检索搭配大模型，演示多模态 RAG、Agent 和微调等场景的落地写法。
从零训练原生视觉语言模型的开源系列，去掉独立视觉编码器，让多模态理解与生成在统一架构里完成。
微软出品的 5 周 RAG 学习路线，用 Jupyter Notebook 带你从索引、混合检索到量化压缩，系统掌握检索增强生成。
共 94 个，这里展示前 60 个。