RWKV 是一种兼具 RNN 与 Transformer 优势的语言模型架构,支持像 GPT 一样并行训练,推理时线性时间、常量显存、无限上下文,无需 KV 缓存。
把生成模型里隐含的 3D 先验知识迁移到场景理解任务上,让视觉语言模型在空间推理时更懂三维结构。
面向视觉语言模型的空间推理与视觉定位研究代码快照,探索用视觉基元辅助多模态模型理解空间关系。
面向流式视频场景的空间智能框架,用测试时训练让多模态大模型持续理解三维空间关系,解决长视频中空间推理能力退化的问题。
面向视频场景的空间超级感知多模态大模型,专注提升视觉语言模型对视频中空间关系的理解与推理能力。
带空间标注的大规模视频数据集,为视频生成、3D/4D 重建和空间推理模型提供训练与评测数据。
让视觉语言模型在推理时生成隐式视觉 token 做「脑内想象」,无需输出真实图像就能增强多模态空间推理能力。
RoboRefer 是面向机器人场景的空间指代推理视觉语言模型官方实现,让机器人能理解「把左边那个杯子递给我」这类带空间关系的指令。
汇总视觉语言模型空间智能方向论文与资源的 awesome 清单,配套综述《Spatial Intelligence in Vision-Language Models》,方便快速跟进空间推理研究进展。