网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026 | 视觉语言大模型不关注场景中的人类,反而靠物体大小判断谁更关键

0
分享至



视觉语言大模型(VLMs)已经可以轻松完成诸多复杂的场景理解和视觉问答,但是模型对场景的理解真的和人类一致吗?

先前的诸多计算机视觉研究都指出,看似模型和人类都能在相同的任务达到相同的水平,甚至模型可以超越人类的水平,但是模型和人类依赖的却是不同的特征,从而在很多情况下表现出和人类不一致的行为。

来自加州大学圣塔巴巴拉分校的研究者指出,不论是开源还是闭源的视觉语言大模型对于场景中物体的重要性的理解和人类存在显著不同,视觉语言大模型尤其依赖于场景中物体的大小,居中程度,低级显著性,而对场景中的物体是否是人类并不敏感。





  • 论文题目:Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency
  • 论文链接:https://arxiv.org/abs/2605.13047
  • 项目代码:https://github.com/starsky77/Counterfactual-Semantic-Saliency-Data
  • 项目网页:https://starsky77.github.io/Counterfactual-Semantic-Saliency
  • 项目数据:https://huggingface.co/datasets/starsky77/counterfactual-semantic-saliency

贡献一:量化场景中语义显著性的模型评估方法

为什么需要黑盒方法

现代视觉语言大模型参数规模巨大,而且大量模型是闭源的,传统的"白盒"可解释性方法(例如可视化注意力图、梯度热力图)要么无法使用,要么难以揭示真正起因果作用的特征。为此,论文提出了一种适用于所有开源和闭源模型的黑盒评估方法,以量化场景中物体对 VLM 给出的场景描述的影响。

反事实语义显著性:移走一个物体,看描述变了多少

反事实语义显著性(Counterfactual Semantic Saliency, CSS)的基本思路就是通过因果干预(Causal intervention),分别检验每个输入元素对输出的影响,来确定场景中每个视觉元素对于场景语义的影响。如果移除场景中的显示器对场景的语义造成了最剧烈的变化,则说明显示器是理解场景最为关键的元素;反之,移除场景里的插座并不会对场景语义造成变化,则说明这些元素的语义显著性不高。



贡献二:反事实场景的人类数据集

307 张原始场景 + 1306 张反事实场景

为了对比人类和模型在场景理解上的差异,研究者基于视觉显著性研究中广泛使用的OSIE 数据集,构建了一个由 307 张原始场景,以及 1306 张反事实场景组成的数据集。其中每个原始场景对应 3-6 个反事实场景,在每个反事实场景中都有一个对应的物体被移除。

227 名被试、16603 条描述构成的人类基线

论文通过 Prolific 平台收集了 227 名人类被试的场景描述数据。为了避免记忆效应和前后干扰,实验采用被试间设计:对于含有 N 个目标物体的场景,原图和 N 张反事实图被分配到 N+1 组互不重叠的刺激集中,每组由约 10 名独立被试完成,确保对于同一个原始场景及其反事实变体,每名被试只会看到其中一个。研究者共收集16665 次试次,剔除与其他被试描述明显不一致的低质量回答(约 0.3%)后,最终保留 16603 条场景描述,每张图像约有 10 条(9–11 条)独立描述,由此构成人类基线。



贡献三:模型在场景理解上和人类表现出显著差异并且依赖于不同特征

19 个模型,无一达到人类水平

研究者评估了19 个主流的开源和闭源视觉语言大模型,涵盖 Qwen3-VL、InternVL3、Gemma 4、GPT-5.4、Claude 4.x、Gemini 3.x 等系列。结果显示,所有模型在场景理解上都和人类存在显著差异:无论是判断场景中语义显著性最高的物体,还是给同一场景中的物体排重要性顺序,模型都显著落后于人类之间的一致性水平。



四种假设:大小、居中、低级显著性,还是"人"?

为了进一步理解导致模型和人类在场景理解上的差异的原因,研究者基于人类视觉研究以及深度学习模型偏差的过往研究,提出了四种可能影响场景理解的假设:

1. 大小敏感性(Sensitivity to Size):物体刺激大小是人类视觉注意力的重要线索之一,而过往研究也表明,物体识别类深度学习模型会过度依赖物体大小。研究者用分割掩码的面积来衡量物体大小。

2. 中心敏感性 (Sensitivity to Center):人类视觉天然会关注画面中心的物体,同时诸多视觉模型是在以物体为中心的数据(如 ImageNet、MS-COCO)上训练的。研究者用物体中心到图像中心距离的负值来衡量居中程度。

3. 低级显著性(Sensitivity to Low-level saliency)敏感性:视觉注意力研究指出,颜色、亮度等低级视觉特征上的对比度会影响人类的视觉感知;也有研究指出,视觉模型可能更偏好低级视觉特征,而不是高级语义信息。研究者使用传统的低级显著性模型 Graph-Based Visual Saliency(GBVS)来量化图像中的低级显著性,并以物体所在区域内的低级显著性峰值作为该物体的低级显著性。

4. 人类敏感性 (Sensitivity to Person-Non-person):人类眼动研究指出,即使没有给定具体任务,人们也会优先观察场景中的人。目前还没有工作系统研究视觉语言大模型是否也有这种对人的敏感性。研究者通过 GPT-5.4 标注场景中的物体是否属于人类。

基于上述四种假设,研究者分析了物体的语义显著性与大小、居中度、低级显著性、是否为人之间的相关性。结果发现,与人类观察者相比,视觉语言大模型显著更依赖物体的低级属性;相反,模型对"人"的敏感性显著低于人类观察者。 换句话说,模型更容易被又大、又居中、又醒目的物体"带偏",不论这些物体在语义上是否真的重要;而人类在描述场景时会被画面中有没有人强烈影响,模型却对此相对迟钝



大小偏好是造成人机差异的首要因素

既然模型在四种属性上的敏感性都与人类不同,那么到底是哪一种在主导模型"找错关键物体"?

研究者对每个模型计算两个"差距":一是该模型在某个属性上的敏感性与人类的差值(Δr),二是该模型 Top-1 准确率与人类的差值(ΔAcc)。然后在 19 个模型之间看这两个差距是否相关:如果某个属性上偏离人类越多的模型,找关键物体的表现也越差,那么这个属性就很可能是驱动差距的因素。结果显示,在四种属性中,只有大小敏感性的偏离与 Top-1 准确率的差距显著相关,其余三种属性均未达到显著水平。这也解释了文章开头的例子:白鸟在画面中占据的像素远多于鱼竿,模型对大小的过度依赖使鱼竿的重要性被掩盖,最终与人类的判断背道而驰。

白盒注意力图并不能告诉我们模型"真正在意"什么

长期以来,研究者常用注意力图或激活图来"看"模型关注了图中哪些区域。那么这些白盒方法能否得到与 CSS 一致的物体重要性?

研究者在开源模型 Qwen3-VL-4B-Instruct 上对比了三种常用的白盒方法:原始注意力图、Grad-CAM 和 AGCAM(注意力引导的类激活图)。由于模型是逐个 token 生成描述的,每个 token 都会对应一张热力图,研究者对所有 token 的热力图取最大值进行汇总,再取每个物体区域内的最大值作为该物体的重要性。

结果发现,这些白盒热力图要么杂乱无章,要么过于稀疏,经常聚焦在语义无关的区域。它们给出的物体重要性排序与 CSS 甚至呈负相关。这说明,面对结构复杂的现代 VLM,被动观察式的可解释性方法很难揭示真正驱动模型输出的因果因素。



结语

这项研究提出了反事实语义显著性(CSS)这一黑盒、与模型无关的评估框架,并结合大规模人类心理物理实验,系统揭示了视觉语言大模型与人类在场景理解上的普遍差距:人类会自然地关注场景中的人,而模型则默认过度依赖物体大小、居中程度和低级显著性等低级视觉特征,其中对物体大小的过度依赖是导致这一差距的最主要因素。在生成数据被大量用于模型训练的今天,"模型是否像人一样看世界"或许是一个同样值得关注的问题。

作者介绍:

本文第一作者温子奇,现为加州大学圣塔芭芭拉分校计算机博士生,研究方向为计算机视觉和认知科学的交叉领域:人类视觉建模,模型与人类的行为差异以及其原因。研究生毕业于卡耐基梅隆大学计算机学院( School of Computer Science),本科毕业于浙江大学计算机科学与技术学院。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
北京84-57大胜深圳 球员评价:4人优秀,6人及格,2人低迷

北京84-57大胜深圳 球员评价:4人优秀,6人及格,2人低迷

篮球资讯达人
2026-11-22 17:48:00
终于轮到属马的大转机!11月最后十天翻盘日!三份惊喜压轴登场…

终于轮到属马的大转机!11月最后十天翻盘日!三份惊喜压轴登场…

阿天爱旅行
2026-11-22 00:53:24
民主党施压马斯克 : 若不说清谁限制的乌克兰星盾 , 就切断SpaceX资金

民主党施压马斯克 : 若不说清谁限制的乌克兰星盾 , 就切断SpaceX资金

林子说事
2026-11-22 16:35:00
万项:目前我还是坚持留在国外,会拿出100%的努力去面对摩洛哥

万项:目前我还是坚持留在国外,会拿出100%的努力去面对摩洛哥

懂球帝
2026-11-22 04:52:29
爱惨了!露西娅AI女友走红:玩家砸钱定制太逼真

爱惨了!露西娅AI女友走红:玩家砸钱定制太逼真

游民星空
2026-11-22 11:07:20
新一轮冷空气来了,四川多地降雨降雪降温

新一轮冷空气来了,四川多地降雨降雪降温

掌上金牛
2026-11-22 11:53:57
英伟达,被查

英伟达,被查

第一财经资讯
2026-11-21 13:41:17
奥巴马对中国的态度:在所有的美国总统中,对中国最不友好最敌视的就是奥巴马,那个看起来温文尔雅的黑人总统,才是真正对中国下死手的人

奥巴马对中国的态度:在所有的美国总统中,对中国最不友好最敌视的就是奥巴马,那个看起来温文尔雅的黑人总统,才是真正对中国下死手的人

唠叨说历史
2026-11-16 16:15:44
1979年撤军途中,越军一个师死咬127师不放,43军副军长张万年拔枪连开三枪,下令杀个回马枪,这场教科书级的“回马枪”,到底有多狠?

1979年撤军途中,越军一个师死咬127师不放,43军副军长张万年拔枪连开三枪,下令杀个回马枪,这场教科书级的“回马枪”,到底有多狠?

回京历史梦
2026-11-18 10:08:17
不忍了!北约突然掀桌,准备直捣俄罗斯腹地

不忍了!北约突然掀桌,准备直捣俄罗斯腹地

今观天下
2026-11-07 07:49:23
中国球员五大联赛首帽来啦!吴澄舒法甲14分钟连进三球率队4比2大胜

中国球员五大联赛首帽来啦!吴澄舒法甲14分钟连进三球率队4比2大胜

湖报体育
2026-11-22 17:56:35
20岁星二代崩溃:照片被放大到全网,我快疯了

20岁星二代崩溃:照片被放大到全网,我快疯了

生活观察员啊
2026-11-20 02:07:26
想不到,APEC峰会第二天,深圳因4件“特产”令中国赚足全球目光

想不到,APEC峰会第二天,深圳因4件“特产”令中国赚足全球目光

影娱先锋l
2026-11-22 11:54:51
医护收入或有新调整!国家明确:提升医护劳动回报!绩效分配比例倾斜

医护收入或有新调整!国家明确:提升医护劳动回报!绩效分配比例倾斜

华医网
2026-11-21 05:43:16
柯文哲开炮普发2万,痛批蓝骗票、绿怕伤选情不敢投票

柯文哲开炮普发2万,痛批蓝骗票、绿怕伤选情不敢投票

时光新点滴
2026-11-22 11:12:54
新一代本田冠道发布:新增三排成七座、中国特供变全球

新一代本田冠道发布:新增三排成七座、中国特供变全球

快科技
2026-11-20 16:43:35
广东男篮爆冷出局,赛后媒体人不留情面揭开伤疤,说到点子上了

广东男篮爆冷出局,赛后媒体人不留情面揭开伤疤,说到点子上了

南海浪花
2026-11-22 05:37:34
英超官方:球已经在莱诺双手之间控制之中,故哈兰德进球无效

英超官方:球已经在莱诺双手之间控制之中,故哈兰德进球无效

懂球帝
2026-11-21 21:35:16
北京49岁岳母自述:从前并不觉得世上有天生坏种,直到遇到了他

北京49岁岳母自述:从前并不觉得世上有天生坏种,直到遇到了他

温情邮局
2025-05-12 15:59:16
黄仁勋是棋子,芯片是幌子,美国真正在乎的是算力导致的经济安全

黄仁勋是棋子,芯片是幌子,美国真正在乎的是算力导致的经济安全

牛锅巴小钒
2026-11-22 16:30:33
2026-11-22 19:11:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14533文章数 142763关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

房产
旅游
数码
艺术
公开课

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

旅游要闻

青海西宁冬春文旅推介会走进成都 5条周末精品线路+12条周边游亮相

数码要闻

Clicks Communicator实体键盘手机因零部件供应短缺推迟交付

艺术要闻

北京第一高楼差点落在丰台!丽泽“云柱”大楼!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版