一行代码就能把 GPT 换成任意开源大模型,统一推理 API 支持云端、本地和笔记本部署,覆盖语言、语音和多模态模型。
一套能在手机和边缘设备上本地跑大模型、扩散模型和多模态推理的生产级 SDK,覆盖 Android、iOS、Flutter,省去自己搭推理链路的麻烦。
高性能大模型与多模态模型推理服务框架,通过优化注意力机制和调度策略提升吞吐与延迟表现,支持 Llama、DeepSeek、MoE 等主流模型部署。
MiniCPM-V 是面壁智能开源的多模态视觉语言模型,能在手机、PC 等本地设备上完成看图、听音和对话交互,无需依赖云端。
在骁龙设备的 NPU、GPU 和 CPU 上本地跑大模型和多模态模型,几行代码就能接入,省去自己适配硬件的麻烦。
面向全模态模型的高效推理框架,支持图像、视频、音频生成与多模态模型服务,基于 PyTorch 提供统一的推理与部署能力。
用强化学习(GRPO)训练视觉语言模型做视觉理解,把 DeepSeek-R1 那套推理强化思路搬到多模态场景,适合研究 VLM 推理能力。
GLM-4.6V/4.5V/4.1V-Thinking 系列视觉语言模型,通过可扩展强化学习提升多模态推理能力,支持图像理解、视频理解和图文问答。
MiniMax 官方开源的文本大模型 MiniMax-Text-01 和视觉语言模型 MiniMax-VL-01,基于线性注意力架构,可用于长上下文理解与多模态推理。
基于飞桨的高性能推理部署工具包,专门用来把大语言模型和多模态模型跑起来、服务化,支持 ERNIE 系列和 OpenAI 兼容接口。
在 .NET 项目里本地跑 LLaMA、LLaVA 等大模型的 C# 库,封装 llama.cpp,让 C# 开发者不用切 Python 就能做聊天和多模态推理。
Skywork-R1V 是昆仑万维开源的多模态视觉语言推理模型系列,基于强化学习训练,擅长图像理解与复杂推理任务。
VLM Run API 的示例与指南合集,用 Jupyter Notebook 演示如何调用视觉语言模型完成 OCR、文档解析和 ETL 等任务,方便快速上手多模态推理。
字节跳动开源的视觉语言基础模型,主打通用多模态理解与推理,在 60 个公开基准中有 38 项达到 SOTA,配套 Notebook 教程方便上手。
让视觉语言模型在推理时生成连续视觉 token 作为中间思考步骤,提升看图与推理表现,附带 ECCV 2026 论文官方实现。
用逐步分组相对策略优化(Step-wise GRPO)训练多模态大模型做推理,提升视觉语言任务上的推理能力。
SparseVLM 是 ICML'25 与 TPAMI'26 论文的官方实现,通过稀疏化视觉 token 来降低视觉语言模型的计算开销,提升多模态推理效率。
让视觉语言模型在推理时生成隐式视觉 token 做「脑内想象」,无需输出真实图像就能增强多模态空间推理能力。
统一的多模态大模型,能高效理解图像、高分辨率图像和视频,用极少的视觉 token 完成多模态推理,适合显存和算力受限的场景。
整理大模型与多模态推理加速论文和配套代码的资源清单,涵盖 Flash-Attention、Paged-Attention、低比特量化与并行策略等方向,方便快速定位和复现关键技术。