开源的多模态视觉指令微调模型,让 LLaMA 类大模型能看图对话,效果对标 GPT-4V,适合做图文问答和视觉助手。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调,支持 LoRA 等高效训练方式,省去为每个模型单独写训练脚本的麻烦。
开源多模态大模型家族,视觉语言能力接近 GPT-4o,支持图像分类、图文检索、语义分割和视频理解等任务。
在 Mac 上基于 Apple Silicon 用 MLX 跑视觉语言模型的推理与微调工具包,支持 LLaVA、Pixtral、Florence2 等多种 VLM,本地即可完成多模态任务。
在 .NET 项目里本地跑 LLaMA、LLaVA 等大模型的 C# 库,封装 llama.cpp,让 C# 开发者不用切 Python 就能做聊天和多模态推理。
Eagle 是一系列前沿视觉语言模型,主打以数据为中心的训练策略,能看图理解并回答多模态问题,适合做图文问答和视觉理解研究。
一个多模态语言 Agent 开发框架,把视觉模型和 LLM 编排在一起,帮你快速搭出能看能听的原型并推向生产。
开源多模态训练框架,基于 Qwen3 等底座训练视觉语言模型,降低多模态模型训练门槛。
统一的多模态大模型,能高效理解图像、高分辨率图像和视频,用极少的视觉 token 完成多模态推理,适合显存和算力受限的场景。
一站式大模型训练框架,支持 600+ 纯文本大模型和 300+ 多模态大模型的 CPT、SFT、DPO、GRPO 等训练,可用 LoRA 等 PEFT 方式或全参数微调。
让多模态大模型直接看屏幕、动鼠标键盘来操作电脑的框架,把自然语言指令变成实际的桌面自动化操作。
面向中文 NLP 的大模型实战代码库,覆盖数据准备、模型训练与推理全流程,含 BERT、ChatGLM、LLaMA 等示例,适合直接上手跑通中文大模型任务。
开源的 AI 摄像头与 NVR 监控平台,用本地 VLM 和 YOLO 做视频分析,并通过 Telegram、Discord、Slack 推送智能安防告警。
轻量级多模态模型库,能同时理解多语言文本和图像,速度比 OpenAI CLIP 和 LLaVA 快 5 倍,适合做图文检索和内容生成。
…elease v1.5 This is the first official release of LLaVA-OneVision-1.5 , focusing on documentation improvements, data packing & preprocessing reliability, training configu
…/Qwen2.5VL系列,DeepSeek-VL2, miniCPM-V 2.6, Janus系列,LLaVA-Critic, LLaVA-DenseConnector, LLaVA-OneVision, GOT-OCR2.0, mPLUG-Owl3 - PP系列模型:发布自研PP-DocBee文档理解多模态大模型,在学术界权威的英文文档
LLaVA-1.6 is out! With additional scaling to LLaVA-1.5, LLaVA-1.6-34B outperforms Gemini Pro on some benchmarks. It can now process 4x more pixels and perform more tasks/
… Support LoRA for the instruction tuning stage of LLaVA-1.5 -- comparable performance to full-model finetuning, and reduced requirements on GPU VRAM. ([ckpts/logs](https:
…ase the [training](https://github.com/haotian-liu/LLaVA train) scripts, data, and [evaluation](https://github.com/haotian-liu/LLaVA/blob/main/docs/Evaluation.md) scripts
🔥 LLaVA-1.5 is out! This release supports LLaVA-1.5 model inference and serving. We will release the training scripts, data, and evaluation scripts on benchmarks in the