网易首页 > 网易号 > 正文 申请入驻

5700问答对全面评估拷问AI空间感!新基准来了丨浙大&成电&港中文

0
分享至

ZJU REAL Lab 投稿
量子位 | 公众号 QbitAI

杯子在我的左边还是右边?

这个对人类来说非常简单的问题,连GPT-4o这样级别的视觉语言大模型(VLMs)也可能答错。

究其根本,还是当前的视觉语言大模型在大规模图文数据中学习到的空间信息往往是片段化的,仅限于静态视角的理解,缺乏多维度、多视角的空间推理能力

因此,当面对需要多视角空间推理的任务时,这些模型们就频频卡壳。

但是,具备稳健的空间推理能力与视角理解能力的AI系统,才能真正成为与人类协作的智能体。

为此,来自浙江大学、电子科技大学和香港中文大学的研究团队提出了首个系统评估VLM多视角多任务下的空间定位能力的基准体系

ViewSpatial-Bench,涵盖五种不同的任务类型,从相机和人类视角出发,全面评估模型的空间推理能力。

同时还并配备了能够生成精确方向标签的自动化3D标注流水线。通过高效的3D方向标注生成流程,实现了超过5700个问答对,覆盖丰富的3D场景。

通过在多视角空间数据集上的微调,ViewSpatial-Bench团队实现了模型性能的整体提升46.24%。

五大任务,覆盖双重视角

ViewSpatial-Bench评估集中包含5700个问答对,涵盖相机视角与人类视角两种框架下的五种空间定位识别任务

如图所示,无论图像聚焦的是场景布局还是人物动作,该基准测试要求模型在不同场景中准确理解空间结构并进行定位,系统性评估多模态模型的跨视角空间推理能力,其中包括:

从相机视角出发的两类任务,主要评估视觉语言大模型基于自我视角的直观空间理解能力。

  1. 物体相对方向识别:直接基于图像判断物体之间的空间关系。
  2. 人物视线方向识别:从相机视角识别图中人物的注视方向。

还有三类任务从人类视角出发,聚焦于模型是否具备抽象的、依赖感知的空间理解能力。分别是:

  1. 物体相对方向识别:从图中人物的视角,判断其他物体与其的空间关系。
  2. 人物视线方向识别:假设自己处于图中人物的位置,推断其面朝的方向。
  3. 场景模拟的相对方向识别:通过模拟“自身”在场景中位置判断物体的相对位置。

为构建高质量的空间推理评估基准,研究团队基于ScanNet和MS-COCO两大经典视觉数据集,开发了完整的自动化数据构建流水线。

构建流程如下:

首先从场景中选取包含丰富三维信息的图像,结合现有标注信息精准提取物体位置坐标或人物姿态方向。

随后基于这些三维坐标或朝向角度计算各类相对空间关系,通过精心设计的自然语言模板自动生成语义明确的问答对,最终经过人工验证确保质量。

这一自动化处理方式在保证数据规模化和高效率的同时,兼顾了空间关系的准确性和语言表述的多样性,为模型训练和评估奠定了坚实的数据基础。

多模态大模型并未真正理解空间结构

基于构建的 ViewSpatial-Bench,研究团队系统评估了包括GPT-4o、Gemini 2.0、InternVL3、Qwen2.5-VL等在内的十余种主流模型的表现,结果显示:

在真正理解空间关系上,当前VLMs的表现还远远不够

从整体准确率来看,多个顶尖模型在ViewSpatial-Bench上的得分并不高。

这表明,尽管模型具备基本的图像理解能力,但在涉及多视角空间定位时,仍缺乏空间感与换位思考能力

更值得关注的是不同任务类型间的显著表现差异。

在摄像头视角下,模型在人物面朝方向判断任务上的平均准确率仅为25.6%,远低于”物体相对方向判断”的38.9%。然而在人物视角下,这一趋势却完全反转。

这种“任务-视角”交叉表现的失衡揭示了当前VLMs的核心缺陷:它们无法构建统一的三维空间认知框架来支持跨视角推理

实质上,模型并未真正理解空间结构,而是将不同视角下的推理过程割裂处理,缺乏从统一空间表征中灵活调度信息的能力。

有趣的是,实验结果还揭示出一个反直觉的现象:

大多数模型在人物视角的任务上表现略优于摄像头视角

例如,GPT-4o 在人物视角平均准确率为36.29%,略高于摄像头视角的33.57%;InternVL2.5、Kimi-VL也表现出类似趋势。

这一现象打破了我们对“自我视角更易处理”的常识性认知,这与上面任务表现的失衡有直接联系,说明模型在训练过程中可能存在学习了更偏“第三人称”视角的空间分布规律,而缺乏从相机视角进行空间映射的能力。

这种偏差揭示了当前训练语料在视角分布上存在结构性不平衡,为未来的数据构建和模型优化指明了重要方向。

如何让模型理解“换位思考”

针对当前视觉语言大模型在多视角空间推理方面的根本性局限,研究团队开发了Multi-View Spatial Model(MVSM)专门用于跨视角空间理解进行系统性优化

MVSM采用自动化空间标注框架生成了约43000个高质量的多样化空间关系样本,全面覆盖ViewSpatial-Bench的五个任务类别。

实验结果显示,在ViewSpatial-Bench上,MVSM相比其骨干模型Qwen2.5-VL实现了46.24%的绝对性能提升,充分验证了针对性训练在解决空间认知缺陷方面的有效性。

如上图所示,为了进一步验证MVSM的空间理解能力,研究团队在VSI-Bench和自建的ViewSpatial Interaction Application Dataset(VSI-App)上进行了评估。

在VSI-Bench中,MVSM在需要视角转换能力的物体相对方向任务上取得了0.93%的提升,在路径规划任务上更是实现了9.54%的显著改进。

VSI-App包含50个场景(25个室内,25个户外),专门设计用于评估具身交互环境中的人类中心空间推理。

在这个更贴近现实的测试中,MVSM依然取得了显著领先,尤其在结构更清晰的室内场景中表现尤为出色(提升+20%),在户外场景中也有适度提升(+4.00%)

以上结果证明,MVSM不仅能够建模静态空间关系,还能处理穿越3D环境的动态轨迹以及人机交互场景——这些能力都是从视角感知训练方法中自然涌现的,而非通过显式的优化获得。

ViewSpatial-Bench和MVSM的提出不仅为多模态模型的空间理解能力提供了系统评估工具,也首次在数据和训练范式上重构了“视角采择”这一关键人类认知能力的建模方式。

通过建立首个多视角空间推理基准并实现显著的性能突破,为AI系统获得类人空间认知能力提供了可行路径:

更聪明的空间感知,是下一代机器人与多模态助手的关键一步。

论文链接:
https://arxiv.org/abs/2505.21500
项目主页:
https://zju-real.github.io/ViewSpatial-Page
GitHub仓库:
https://github.com/ZJU-REAL/ViewSpatial-Bench

— 完 —

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
西班牙问国足确定派来的是最好球员吗,国足问有什么问题吗

西班牙问国足确定派来的是最好球员吗,国足问有什么问题吗

林子说事
2026-11-22 01:06:58
麦克阿瑟到晚年总算说了句大实话?当年朝鲜那一仗中国要是没打,如今整个亚洲的大格局,恐怕早就不知变成啥样了

麦克阿瑟到晚年总算说了句大实话?当年朝鲜那一仗中国要是没打,如今整个亚洲的大格局,恐怕早就不知变成啥样了

扶苏聊历史
2026-11-16 17:32:49
刘涛峨眉素颜爬山被拍,不粉黛没替身引猜测,这底气究竟多足

刘涛峨眉素颜爬山被拍,不粉黛没替身引猜测,这底气究竟多足

情感大头说说
2026-11-20 12:54:13
一旦日本对中国动手,我国结束中日战斗需要几天?答案让日本绝望

一旦日本对中国动手,我国结束中日战斗需要几天?答案让日本绝望

芳芳历史烩
2026-11-22 00:19:01
独行侠力克快船获2连胜:弗拉格22+6+8欧文25+6 大洛21分

独行侠力克快船获2连胜:弗拉格22+6+8欧文25+6 大洛21分

醉卧浮生
2026-11-22 11:33:31
随着切尔西1-4、热刺2-0、伯恩茅斯2-0,英超最新积分榜出炉

随着切尔西1-4、热刺2-0、伯恩茅斯2-0,英超最新积分榜出炉

侧身凌空斩
2026-11-22 01:02:43
中超旧将假期结束“失踪了”

中超旧将假期结束“失踪了”

五星体育
2026-11-22 16:13:24
人体最佳睡觉时间表(建议永久收藏)

人体最佳睡觉时间表(建议永久收藏)

神奇故事
2026-11-14 23:05:28
《花少 8》她翻红无望,不耐烦、往男的身上凑,这么多年还是没变

《花少 8》她翻红无望,不耐烦、往男的身上凑,这么多年还是没变

一娱三分地
2026-11-22 12:50:07
天冷,也阻挡不了我穿丝袜的热情

天冷,也阻挡不了我穿丝袜的热情

疾跑的小蜗牛
2026-11-21 20:44:46
造纸厂储罐发现3具女尸,法医:三人为亲姐妹,生前骨盆均被破坏

造纸厂储罐发现3具女尸,法医:三人为亲姐妹,生前骨盆均被破坏

罪案洞察者
2025-10-28 15:33:21
印度塔塔花38亿欧元吞下依维柯

印度塔塔花38亿欧元吞下依维柯

沙雕小琳琳
2026-11-22 13:35:36
人伦之乱(笑话)

人伦之乱(笑话)

乡村中原风
2026-11-20 14:36:33
亚洲杯夺冠概率出炉:日本33.2%领跑国足仅0.1% 卫冕冠军0.7%

亚洲杯夺冠概率出炉:日本33.2%领跑国足仅0.1% 卫冕冠军0.7%

新英体育
2026-11-22 10:14:48
泽连斯基质疑美国对乌方区别对待:能帮以色列,那也可以支持乌克兰

泽连斯基质疑美国对乌方区别对待:能帮以色列,那也可以支持乌克兰

澎湃新闻
2026-11-21 17:40:05
看到 baby 的身材,我就不焦虑了。实话说 baby 的身材好吗

看到 baby 的身材,我就不焦虑了。实话说 baby 的身材好吗

东方不败然多多
2026-11-22 10:43:27
吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

华庭讲美食
2026-11-22 14:02:23
特朗普称不支持“台独”引发岛内震动,台湾网民:“早点统一吧!”

特朗普称不支持“台独”引发岛内震动,台湾网民:“早点统一吧!”

环球网资讯
2026-11-21 07:06:39
马斯克前女友开怼:痴迷假女人,还劝我吃“白药丸”

马斯克前女友开怼:痴迷假女人,还劝我吃“白药丸”

影视情报室
2026-11-20 04:18:21
大连英博不做莱斯特城难!五外援都可能离队,下赛季顶多做热刺

大连英博不做莱斯特城难!五外援都可能离队,下赛季顶多做热刺

体育世界
2026-11-22 16:00:50
2026-11-22 16:51:00
量子位 incentive-icons
量子位
追踪人工智能动态
13709文章数 176602关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

老板闭店前给学生写信:不要删我 想看你们幸福过一生

头条要闻

老板闭店前给学生写信:不要删我 想看你们幸福过一生

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

旅游
教育
家居
数码
公开课

旅游要闻

海外博主燕赵行 | 千年古城

教育要闻

饮鸩止渴中的鸩指的是什么?难倒了语文老师

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

智能手环销量全球No.1:小米手环官宣累计出货超2.4亿只,连续35个季度拿下第一

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版