给 Claude Code 装上视频理解能力：用 ffmpeg 抽帧、Whisper 转写音轨，再交给多模态模型分析画面与声音，让 Agent 能直接看懂视频内容。

面向超长视频的检索增强生成框架，让大模型能直接和你上传的视频对话，解决长视频内容理解与精准问答的问题。

面向超长视频理解的深度研究式问答智能体，能自动拆解问题、检索视频片段并给出答案，省去人工逐帧翻看的麻烦。

VideoPrism 是 DeepMind 开源的视频理解基础视觉编码器，用自监督学习预训练，可直接抽取视频特征，支撑分类、检索、问答等下游任务。

面向长视频理解的可插拔检索增强框架，无需训练即可为多模态大模型补充视觉对齐的检索证据，提升长视频问答效果。

把视频按场景切分、去重抽帧并配上字幕文本，让 Claude 等大模型真正「看懂」视频内容，支持 URL 或本地文件，全程本地运行。

基于 GPU 加速的视频分析智能体参考架构，用视觉语言模型、LLM 和 RAG 实现长视频的实时告警、视觉问答与自动报告生成。

把视频按场景切成 9-16 格带时间戳和字幕的分镜图，连同音频包络压成一张 384 token 的图片，方便大模型低成本理解长视频。

开源多模态大模型家族，视觉语言能力接近 GPT-4o，支持图像分类、图文检索、语义分割和视频理解等任务。

阿里云通义团队开源的多模态大模型系列，能同时理解图像和文本，用于视觉问答、图文推理等视觉语言任务。

GLM-4.6V/4.5V/4.1V-Thinking 系列视觉语言模型，通过可扩展强化学习提升多模态推理能力，支持图像理解、视频理解和图文问答。

微软开源的统一多模态模型，用流匹配做图像编辑与文生图，同时支持流式视频理解和 GUI 电脑操作 Agent。

开源 11B 参数的多模态视觉语言模型，专攻长视频和实时流式视频理解，可用于视频问答等场景。

统一评测文本、图像、视频和音频任务的多模态大模型工具箱，一套流程跑完各类基准，省去为每个模态单独搭评测脚本的麻烦。

面向视频场景的空间超级感知多模态大模型，专注提升视觉语言模型对视频中空间关系的理解与推理能力。

统一的多模态大模型，能高效理解图像、高分辨率图像和视频，用极少的视觉 token 完成多模态推理，适合显存和算力受限的场景。

收集视觉语言模型在流式视频场景下的论文与开源代码，帮研究者快速定位在线视频理解方向的资料。