阿里云通义团队开源的多模态大模型系列,能同时理解图像和文本,用于视觉问答、图文推理等视觉语言任务。
开源多模态大模型家族,视觉语言能力接近 GPT-4o,支持图像分类、图文检索、语义分割和视频理解等任务。
面向 LLM 应用的多智能体开发框架,支持多模态、语音与实时交互,让智能体的构建、运行和调试过程可见、可理解、可信。
让多模态大模型直接看屏幕、动鼠标键盘来操作电脑的框架,把自然语言指令变成实际的桌面自动化操作。
用两小时从零训练一个 65M 参数的多模态视觉语言模型,代码和流程完整,适合低成本复现 VLM 训练与对话实验。
用 Playwright 加 AI 盯闲鱼,多任务实时或定时监控商品并做智能分析,配后台管理界面,帮你从海量二手商品里筛出想要的。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包,支持 LLaVA、Pixtral、Florence2 等多种 VLM,本地即可完成多模态任务。
用强化学习(GRPO)训练视觉语言模型做视觉理解,把 DeepSeek-R1 那套推理强化思路搬到多模态场景,适合研究 VLM 推理能力。
开箱即用的视频扩散模型工具箱,支持文生视频和图生视频,重点解决高质量视频训练数据不足的问题。
主动感知上下文的 AI 助手,结合上下文工程与 ChatGPT Pulse 思路,自动收集并组织相关信息,为对话提供持续记忆和主动提醒。
一本系统讲解 AI Agent 设计原理与工程实践的开源书,含全书正文、PDF 和按章配套 Python 代码,覆盖记忆、上下文工程、RAG、多智能体等主题。
…I 智能体提供免费多模态能力。 功能 - 多模态对话 :多轮对话、深度思考(思维链)、联网搜索 - 多模态理解 :识图、读 PDF/Word/Excel/代码等 60+ 种文件格式 - 图片生成 :文生图、图生图 - 视频生成 :Seedance 2.0(异步任务) - 音乐生成 :文本描述 + 可选歌词 - 文件上传 :最大 1GB,永
2025.05.09 发布PaddleMIX 3.0.0-beta 多模态理解 - 新增模型:Qwen2VL/Qwen2.5VL系列,DeepSeek-VL2, miniCPM-V 2.6, Janus系列,LLaVA-Critic, LLaVA-DenseConnector, LLaVA-OneVision, GOT-OCR2.0, m
多模态理解 1. 新增模型:LLaVA: v1.5-7b, v1.5-13b, v1,6-7b,CogAgent, CogVLM, Qwen-VL, InternLM-XComposer2 2. 数据集增强:新增chatml dataset图文对话数据读取方案,可自定义chat template文件适配,支持混合数据集 3. 工具链升级: