阿里云通义团队开源的多模态大模型系列,能同时理解图像和文本,用于视觉问答、图文推理等视觉语言任务。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型,能在手机、PC 等本地设备上完成看图、听音和对话交互,无需依赖云端。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包,支持 LLaVA、Pixtral、Florence2 等多种 VLM,本地即可完成多模态任务。
一站式微调多模态模型的工具,支持 PaliGemma 2、Florence-2、Qwen2.5-VL 等,覆盖图像描述、目标检测和视觉问答任务,省去手写训练脚本的麻烦。
Ovis 是一种多模态大语言模型架构,通过结构对齐视觉与文本嵌入,让模型能同时理解图像和文字,适合做视觉问答、图文对话等任务。
小米开源的视觉语言模型,能看图回答问题,适合做视觉问答和多模态理解任务。
基于 GPU 加速的视频分析智能体参考架构,用视觉语言模型、LLM 和 RAG 实现长视频的实时告警、视觉问答与自动报告生成。