OSS Radar
首页
AI 分类
推理与服务5
大模型推理服务 · 向量化 / 重排服务 · 网关与路由
训练与微调6
训练框架 · 参数高效微调 · 后训练 / RLHF
数据工程4
数据集托管 · 数据清洗与处理 · 合成数据
检索与 RAG9
向量数据库 · RAG 框架 · 检索增强引擎
Agent 与编排6
Agent 框架 · 编码 Agent · 电脑 / 浏览器 Agent
评估 · 实验 · MLOps8
模型评测 · Agent 评测 · 实验管理
多模态生成5
图像生成 · 视频生成 · 视觉语言模型
视觉与 3D5
检测 / 分割 · 3D 重建 · 3D 生成
模型工具链8
量化 · 剪枝与蒸馏 · 格式转换
科研与论文实现3
论文复现 · 时序预测 · 科学计算 / 生物医药
开发工具
开发与框架5构建与交付4底层与逆向3
系统工具
系统与文件7图像与影音工具5实用小工具4
效率工具
记录与整理3输入与阅读4
媒体与内容
播放与媒体库4内容处理3
网络工具
访问与代理3连接与传输4
游戏相关
开发与运行2游玩相关2
安全与隐私
攻防与审计3加密与隐私1
硬件与机器人
嵌入式与物联网5机器人与具身智能3
数据与金融
数据库与存储4金融与量化1
探索排行榜开发语言标签
/
周报
本周新增、涨得最快、发了什么版本
对比项目
两个项目并排看 star、维护状态与硬件
数据体检
收录量、完整度缺口、沉睡项目
提交仓库
推荐项目,附上你的使用经验
反馈与纠错
分类错了、介绍不准、链接失效
关于本站
数据来源与分类原则
登录
OSS Radar

按算法工程工作流分类的开源工具库。数据来自 GitHub 公开 API,收录 6,740 个仓库、129 个细分分类。 带 ✦ 的条目有人工撰写的专家点评。

数据最近同步于 2026/11/11 14:07:13 · 本项目仅做聚合与索引,软件版权归原作者所有

浏览

  • 全部仓库
  • AI 分类
  • 排行榜
  • 开发语言
  • 标签与关键词
  • 搜索

关于

  • 关于本站
  • 数据体检
  • 提交仓库
  • 反馈与纠错
  • 偏好设置
  • 我的收藏
  • 我的点评
© 2026 OSS Radar数据每小时级同步 · 内容由算法与人工共同维护
⌘K
「多模态对话」找到 82 个结果 · 16ms命中词:多模态对话multimodal只看有点评
Y
YuE
multimodal-art-projection·Python

开源音乐生成基础模型,用符号规划、零样本翻唱和智能体编辑从歌词生成完整歌曲,适合研究音乐生成与风格迁移。

音乐生成+4
134030—
multimodal-art-projection/YuE · 18.15
T
transformers
huggingface·Python

统一加载和运行文本、视觉、音频、多模态的预训练模型,覆盖推理与训练,省去为每个模型重写代码的麻烦。

预训练模型+4
1688150—
huggingface/transformers · 12.67
U
UI-TARS-desktop
bytedance·TypeScript

字节开源的多模态 AI Agent 桌面栈,把前沿模型和 Agent 基础设施连起来,让 Agent 能像人一样操作 GUI、浏览器和电脑完成任务。

多模态Agent+4
395860—
bytedance/UI-TARS-desktop · 12.16
L
LlamaFactory
hiyouga·Python

一套统一接口搞定 100+ 大语言模型和多模态模型的微调,支持 LoRA 等高效训练方式,省去为每个模型单独写训练脚本的麻烦。

微调框架+4
760010—
hiyouga/LlamaFactory · 11.99
A
anything-llm
Mintplex-Labs·JavaScript

本地优先的 AI 智能体工作台,把文档、对话和工具整合成可私有部署的知识库与代理,数据留在自己机器上,不用租用云端智能服务。

本地AI+4
681840—
Mintplex-Labs/anything-llm · 11.92
S
sglang
sgl-project·Python

高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。

推理服务框架+4
387520—
sgl-project/sglang · 11.86
L
LLaVA
haotian-liu·Python

开源的多模态视觉指令微调模型,让 LLaMA 类大模型能看图对话,效果对标 GPT-4V,适合做图文问答和视觉助手。

视觉指令微调+4
250750—
haotian-liu/LLaVA · 11.63
M
MiniCPM-V
OpenBMB·Python

MiniCPM-V 是面壁智能开源的多模态视觉语言模型,能在手机、PC 等本地设备上完成看图、听音和对话交互,无需依赖云端。

多模态+4
271330—
OpenBMB/MiniCPM-V · 11.63
S
self-llm
datawhalechina·Jupyter Notebook

面向中文用户的 Linux 环境大模型实战教程,手把手教你在本地微调(全参数/LoRA)和部署国内外开源 LLM 与多模态模型。

大模型微调+4
327520—
datawhalechina/self-llm · 11.61
Q
Qwen3-VL
QwenLM·Jupyter Notebook

阿里云通义团队开源的多模态大模型系列,能同时理解图像和文本,用于视觉问答、图文推理等视觉语言任务。

多模态大模型+4
201970—
QwenLM/Qwen3-VL · 11.58
A
agentscope
agentscope-ai·Python

面向 LLM 应用的多智能体开发框架,支持多模态、语音与实时交互,让智能体的构建、运行和调试过程可见、可理解、可信。

多智能体+4
358070—
agentscope-ai/agentscope · 11.56
M
ms-swift
modelscope·Python

一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。

训练框架+4
160900—
modelscope/ms-swift · 11.41
M
MobileAgent
X-PLUG·Python

基于多模态大模型的 GUI 智能体家族,能看懂手机和电脑界面并自动点击操作,帮你完成跨 App 的自动化任务。

GUI 智能体+4
93780—
X-PLUG/MobileAgent · 11.31
J
JARVIS
microsoft·Python

把大语言模型和 Hugging Face 上的各类模型连起来,让 LLM 自动挑选、调用合适的模型完成多模态任务,相当于给模型加了个调度中枢。

模型调度+4
256160—
microsoft/JARVIS · 11.31
R
RAG-Anything
HKUDS·Python

一站式多模态 RAG 框架,把文本、图像等不同模态的检索与生成统一到同一套流程里,省去自己拼接多个组件的麻烦。

多模态RAG+3
244910—
HKUDS/RAG-Anything · 11.31
P
PixelRAG
StarTrail-org·Python

把网页直接当像素图像来检索的 RAG 引擎,跳过 HTML 解析,靠视觉语言模型做原生搜索,适合构建多模态 Agent 的长期记忆。

像素级检索+4
109100—
StarTrail-org/PixelRAG · 11.28
A
all-in-rag
datawhalechina·Python

面向大模型应用开发的 RAG 全栈实战教程,覆盖文本向量化、检索、重排与多模态等环节,手把手带你搭建检索增强生成系统。

检索增强生成+4
130590—
datawhalechina/all-in-rag · 11.28
S
self-operating-computer
OthersideAI·Python

让多模态大模型直接看屏幕、动鼠标键盘来操作电脑的框架,把自然语言指令变成实际的桌面自动化操作。

多模态模型+4
103050—
OthersideAI/self-operating-computer · 11.27
S
seatunnel
apache·Java

SeaTunnel 是高性能分布式数据集成工具,支持批处理、CDC 变更捕获和多模态数据接入,用于海量数据在异构系统间高效同步。

数据集成+4
97980—
apache/seatunnel · 11.26
D
deeplake
activeloopai·C++

面向 AI Agent 的多模态数据运行时,提供无服务器 Postgres 与数据湖,支持大规模检索和模型训练。

多模态数据湖+4
92670—
activeloopai/deeplake · 11.25
I
InternVL
OpenGVLab·Python

开源多模态大模型家族,视觉语言能力接近 GPT-4o,支持图像分类、图文检索、语义分割和视频理解等任务。

多模态大模型+4
101680—
OpenGVLab/InternVL · 11.2
X
X-AnyLabeling
CVHub520·Python

跨平台桌面标注工具,支持文本、图像、视频、点云和多模态数据,内置 AI 模型辅助预标注,可导出多种格式。

数据标注+4
109440—
CVHub520/X-AnyLabeling · 11.19
L
lancedb
lancedb·Rust

面向多模态 AI 的嵌入式向量检索库,支持近似最近邻搜索和语义相似度检索,无需单独部署服务,帮开发者省去向量数据管理的麻烦。

向量数据库+4
118810—
lancedb/lancedb · 11.16
C
coze-studio
coze-dev·TypeScript

一站式可视化 AI Agent 开发平台,用拖拽式工具完成智能体的创建、调试和部署,大幅降低搭建聊天机器人与多模态应用的门槛。

智能体平台+4
218200—
coze-dev/coze-studio · 11.15
H
haystack
deepset-ai·Python

开源 LLM 应用编排框架,用模块化管道和智能体工作流显式控制检索、路由、记忆与生成,适合搭建 RAG、语义搜索和多模态对话系统。

RAG 框架+4
269910—
deepset-ai/haystack · 11.13
L
LocalAI
mudler·Go

开源本地 AI 推理引擎,无需 GPU 即可在任意硬件上跑 LLM、视觉、语音和图像生成模型,提供兼容 OpenAI 的 API。

推理引擎+4
503200—
mudler/LocalAI · 11.13
R
runanywhere-sdks
RunanywhereAI·C++

一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK,覆盖 Android、iOS、Flutter,省去自己搭推理链路的麻烦。

端侧推理+4
103400—
RunanywhereAI/runanywhere-sdks · 11.12
C
CLIP
openai·Jupyter Notebook

用对比学习把图像和文本映射到同一嵌入空间,实现零样本图像分类和图文匹配,是跨模态检索与多模态模型的经典底座。

多模态嵌入+4
345980—
openai/CLIP · 11.04
M
minimind-v
jingyaogong·Python

用两小时从零训练一个 65M 参数的多模态视觉语言模型,代码和流程完整,适合低成本复现 VLM 训练与对话实验。

视觉语言模型+4
88290—
jingyaogong/minimind-v · 11.04
V
vllm-omni
vllm-project·Python

面向全模态模型的高效推理框架,支持图像、视频、音频生成与多模态模型服务,基于 PyTorch 提供统一的推理与部署能力。

全模态推理+4
76990—
vllm-project/vllm-omni · 11.03
I
inference
xorbitsai·Python

一行代码就能把 GPT 换成任意开源大模型,统一推理 API 支持云端、本地和笔记本部署,覆盖语言、语音和多模态模型。

推理服务+4
96530—
xorbitsai/inference · 11.02
D
Daft
Eventual-Inc·Rust

面向 AI 与多模态负载的高性能数据引擎,用 Rust 编写,能大规模处理图像、音频、视频和结构化数据,适合搭建 ETL 与数据管道。

多模态数据处理+4
58440—
Eventual-Inc/Daft · 11.02
L
lance
lance-format·Rust

面向多模态 AI 的开放湖仓数据格式,两行代码即可从 Parquet 转换,实现百倍随机访问加速、向量索引和数据版本管理,兼容 Pandas、DuckDB、PyTorch 等生态。

多模态数据格式+4
72790—
lance-format/lance · 10.98
V
VLM-R1
om-ai-lab·Python

用强化学习(GRPO)训练视觉语言模型做视觉理解,把 DeepSeek-R1 那套推理强化思路搬到多模态场景,适合研究 VLM 推理能力。

视觉语言模型+4
60450—
om-ai-lab/VLM-R1 · 10.97
V
Vision-Agents
GetStream·Python

基于 Stream 边缘网络快速搭建语音与视觉智能体,可接入任意模型或视频源,实现超低延迟的实时多模态交互。

视觉智能体+4
82070—
GetStream/Vision-Agents · 10.96
S
screenpipe
screenpipe·Rust

持续录制电脑屏幕和音频,把日常工作流整理成可检索的记录,帮你找出值得自动化的环节,并为 AI 智能体提供上下文。

屏幕录制+4
223460—
screenpipe/screenpipe · 10.95
E
ERNIE
PaddlePaddle·Python

ERNIE 4.5 系列大模型与配套的工业级开发工具包 ERNIEKit,基于 PaddlePaddle,支持大语言模型和多模态模型的训练、微调与推理部署。

大模型+4
77400—
PaddlePaddle/ERNIE · 10.95
A
Agent-S
simular-ai·Python

开源计算机使用智能体,能像人一样操作图形界面完成桌面任务,靠多模态大模型、规划与记忆实现自动化操作。

计算机使用智能体+4
129420—
simular-ai/Agent-S · 10.9
G
GenieX
qualcomm·Go

在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。

端侧推理+4
85150—
qualcomm/GenieX · 10.87
G
genkit
genkit-ai·TypeScript

Google 开源的智能体应用开发框架,支持 JavaScript、Go、Dart 和 Python,内置 LLM 调用、多模态、RAG 与向量检索能力,帮开发者快速搭建生产级 AI 应用。

智能体开发+4
65800—
genkit-ai/genkit · 10.85

发布说明里提到「多模态对话」

来自 2 个版本
  • xerrors/Yuxiv0.7.02026-06-12

    …卡在「进行中」的问题(对这两类 provider 默认禁用工具调用流式,正文回答仍流式)。 - 修复多模态对话上传透明 PNG 失真、 .jpg 包裹 PNG 内容时前端按错误格式加载的问题。 - 修复用户管理列表超过 100 人被默认分页截断的问题。 - 修复知识库文件大小显示为 0、MinERU 文档解析配置说明错误等问题。 💥 升

  • wangchuxiaoji-oss/doubao2apiv0.1.02026-05-21

    …ao2api v0.1.0 逆向豆包客户端 API,为 AI 智能体提供免费多模态能力。 功能 - 多模态对话 :多轮对话、深度思考(思维链)、联网搜索 - 多模态理解 :识图、读 PDF/Word/Excel/代码等 60+ 种文件格式 - 图片生成 :文生图、图生图 - 视频生成 :Seedance 2.0(异步任务) - 音乐生成