北京
一群视觉语言模型研究者翻遍了近十年的论文，发现一个让人火大的规律：每次宣称模型接近或匹配人类表现，用的都是同一个家族的基准测试——最出名的就是MS-COCO。那些图干净、光线好，要么没人，要么人只是坐着、走着、拿个东西。模型根本不需要去理解多人之间的社交动态、微妙的意图，或者那种人类看电影片段时毫不费力就能做出的关系推理。
因为评测数据太简单，所以报告出来的数字漂亮得不像话。BLEU-4、CIDEr，甚至更现代的BERTScore这类自动指标，又进一步放大了进步的假象——它们奖励的是字面上的词汇重叠，而不是真正的语义保真度。可与此同时，几乎没有人系统性地梳理过，模型还犯着哪些视觉认知错误，也没有人追问，当架构从CNN+LSTM的图说模型一路进化到今天的多模态大语言模型，这些失败模式到底变了多少。结果就是，一个领域可以堂而皇之地宣称“人类水平”，却对模型能否真正看懂现实应用中最重要的场景——那些满是人与人的互动的场景——根本视而不见。
于是，这组研究人员下定决心，要回答两个被现有文献悬置已久的问题：第一，表面上的进步，有多少是简单数据制造出来的幻觉？第二，哪些错误类型已经被消灭，哪些又顽固地残留下来？
他们干了一件很“拆台”的事：重新搭了一个诊断性更强的测试场。具体来说，是从电影画面里抽取了100张图，构造出一套名为“复杂社交行为”（CSB）的数据集，专门要求模型去推理多人互动的场景。每张图都收集了20份独立的人工描述，再排序合成一个高质量的金标准。然后，他们把2017年到2025年间的9款模型——4款前多模态大语言模型时代的图说器，加上5款现代多模态大模型——全部拉出来遛了一圈，用的还是跟人类判断更一致的语义相似度指标，而非那套容易作弊的表面分数。最后，他们甩出一套五类错误分类法：目标检测错误、目标识别错误、幻觉、场景理解错误，以及空间依赖性错误，逐一测量每一类错误如何随时间演变。
结果很打脸。那些前多模态模型在CSB数据集上直接崩盘，可它们在MS-COCO上的表现明明还看得过去；而新一代多模态大语言模型几乎把这道鸿沟填平了，并且消灭了五类错误中的四类。唯独剩下一个空间依赖性错误，既是残留的失败模式，又偏偏是对整体相似度分数损害最小的那一个，成了一个既尴尬又迷人的尾巴。
所以，下次再看到某篇论文说视觉模型已经媲美人类，先别急着鼓掌，不妨问一句：评测用的是不是那些简单到连社交互动都没有的图？因为一旦把场景换成人跟人真正在互动——一个眼神的交汇、一次手势的暗示、一个身体的朝向——故事就完全不一样了。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
