网易首页 > 网易号 > 正文 申请入驻

AI能否「圣地巡礼」?多模态大模型全新评估基准VIR-Bench来了

0
分享至

大家或许都有过这样的体验:

看完一部喜欢的动漫,总会心血来潮地想去 “圣地巡礼”;刷到别人剪辑精美的旅行 vlog,也会忍不住收藏起来,想着哪天亲自走一遍同样的路线。旅行与影像的结合,总是能勾起人们的探索欲望。那么,如果 AI 能自动看懂这些旅行视频,帮你解析出 “去了哪些地方”“顺序是怎样的”,甚至还能一键生成属于你的旅行计划,会不会很有趣?这不仅仅是阿宅的想象,更是多模态大模型在真实世界应用中的一个重要场景。

正是在这样的启发下,来自日本早稻田大学,CyberAgent 和奈良先端科学技术大学院大学的团队提出了一个全新的多模态大模型评估基准 VIR-Bench ,旨在评测 AI 是否真的能理解旅行视频中的地理位置与时间顺序,从而支撑更复杂、更实用的应用。用一句话来概括,这项研究就是在追问:“我从哪里来?我要到哪里去?”

  • 论文地址:https://www.arxiv.org/abs/2509.19002
  • GitHub:https://github.com/nlp-waseda/VIR-Bench

VIR-Bench 是什么?任务设计与数据集构建

任务目标:行程还原(Itinerary Reconstruction)

在 VIR-Bench 中,给定一个旅行 vlog(在日本拍摄),模型要输出访问顺序图(visiting order graph),也就是 “我去了哪些地点、按什么顺序、地点之间有哪些包含关系” 的结构化表示。

更具体地,这个访问顺序图是一个有向图,其中:

  • 节点表示被访问的地点,按层次分为 Prefecture,City,和 POI(Point of Interest)三层级。
  • 包含边(Inclusion edge) 表示层次上的 “大地理单元包含小地理单元” 关系(例如某 POI 在某个 City 里,某个 City 在某个 Prefecture 里)。
  • 转移边(Transition edge) 表示时间顺序上的移动:从一个节点移动到下一个节点(同层级)表示旅行顺序。

这意味着模型不仅要识别出 “我去过的地点”,还要判断这些地点之间的时间顺序,地理空间关系,进而构建出整个旅行路径的结构。此外,由于旅行视频往往是自拍视角 / 行进视角 / 风光视角等交错出现,模型需要在多样视角、非连续画面中“拼图式” 理解,这进一步提升了任务难度。

为便于模型训练与评测,作者将这一复杂任务拆解为两个子任务:

1. 节点预测:给定视频,模型列出所有被访问的 Prefecture、City、POI。

2. 边缘预测:给定视频 + 节点集合(节点标签顺序被打乱),模型要判断哪些节点之间存在包含边,哪些节点之间存在转移边。即预测边的集合。

通过这种分解方式,我们可以分别评估模型的地理识别能力与时序推理能力,以及它们在实际组合时的协同性。

数据集构建:200 个旅行视频 + 访问顺序图

为了支撑上述任务,作者构建了一个规模适中的专用数据集:

  • 视频数量:200 个旅行 vlog(都在日本拍摄) 。
  • 地点覆盖:共标注出 3,689 个 POI,分布在日本 43 个都道府县(几乎覆盖全日本) 。
  • 标注方式:每个视频由人工注释者识别每个 POI 的起止时间、Google Maps 链接,并通过双人校验后自动构建最终的访问顺序图。

作者在论文中还附上了详细注释指南、数据分布统计等信息(可见 Appendix 部分)。

实验结果与洞察:当前模型面临的挑战

在实验中,作者发现开源模型整体上仍然落后于商用模型,尤其是在 POI 节点识别 和 转移边预测 这两个子任务上差距尤为明显。进一步的分析显示,转移边预测几乎是所有模型的 “最难关”:不少模型要么直接误解了任务要求,要么忽视了层级结构的约束(只有同层级节点之间可以有转移边),结果往往接近随机水平。

另一方面,模型规模的扩展对性能提升具有显著作用,尤其体现在边缘预测上;而是否具备地理相关的预训练,则成为 POI 节点预测精度差异的关键因素。值得注意的是,思维链推理(Chain-of-Thought) 的效果在不同子任务中差别很大:在节点预测中提升有限,但在边缘预测中却能带来显著的改善。如果再进一步结合音频信息(例如 Gemini-2.5-Pro 的多模态输入),效果提升尤为突出。

Ablation 实验也为我们揭示了模型性能提升的几个关键方向:增加输入帧数可以让模型捕捉更完整的旅行线索,更长的推理过程能帮助模型逐步还原旅行顺序,而音频的利用则能提供额外的语义提示。三者结合,共同推动了模型在复杂时空理解任务上的进步。

然而,即便有这些改进,整体性能仍远未达到可用水平。即使是当前得分最高的 Gemini-2.5-Pro,在预测结果中依然存在大量错误,这进一步凸显了多模态大模型在长程地理与时间理解上的巨大挑战。

表1: 节点预测的评估结果

表2: 边缘预测的评估结果

总而言之,VIR-Bench 不仅是一个新的评测基准,更是为未来诸多应用打开了一扇窗口。通过在旅行视频中重建行程顺序,它逼迫模型同时理解 “地理位置 + 时间顺序”,这与机器人如何理解世界、规划路径,以及自动驾驶系统如何在动态环境中进行决策高度契合。

这一研究让我们看清:当前的大模型在长程推理和时空理解上仍有明显不足,但也指明了进化的方向 —— 更强的地理空间感知、更可靠的时间推理,以及多模态信息的深度融合。当这些能力逐渐成熟,AI 将不再只是 “看视频”,而是真正具备 “在世界中行动” 的潜力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
民调:民主党2028胜率是共和党近两倍,特朗普选民也有22%倒戈

民调:民主党2028胜率是共和党近两倍,特朗普选民也有22%倒戈

听风喃
2026-11-20 03:42:35
浙江金华一男子准备砍掉院子里的柏树,因儿媳说柏树是坟头树阴气重

浙江金华一男子准备砍掉院子里的柏树,因儿媳说柏树是坟头树阴气重

糖逗在娱乐
2026-11-20 08:32:28
APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

快科技
2026-11-20 09:51:06
稳拿顶薪?徐杰爆砍28+9证明实力 贝帅很欣赏他 陈浩峰要“割肉”了

稳拿顶薪?徐杰爆砍28+9证明实力 贝帅很欣赏他 陈浩峰要“割肉”了

南海浪花
2026-11-20 09:26:26
龙珠,胆小慎入!如果沙鲁吐出18号变成写实画风,这画面太有压迫感了

龙珠,胆小慎入!如果沙鲁吐出18号变成写实画风,这画面太有压迫感了

动漫小天堂
2026-11-20 10:16:45
现货黄金失守3600美元

现货黄金失守3600美元

证券时报
2026-11-20 10:08:02
家里有这种浴室门的请务必进来看看!否则哪天真的会死在里面!

家里有这种浴室门的请务必进来看看!否则哪天真的会死在里面!

魔都囡
2026-11-20 02:58:45
福建地级市直公务员待遇

福建地级市直公务员待遇

主簿君札记
2026-11-19 20:29:04
TVB台庆!三届视帝罗嘉良率上百艺员跳唱登场!陈敏之47岁再秀大长美腿

TVB台庆!三届视帝罗嘉良率上百艺员跳唱登场!陈敏之47岁再秀大长美腿

我爱追港剧
2026-11-20 01:04:46
“电诈”亲手毁掉了中国两个“最赚钱”的行业,全民信任彻底透支

“电诈”亲手毁掉了中国两个“最赚钱”的行业,全民信任彻底透支

云景侃记
2026-11-04 09:40:59
赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

一盅情怀
2026-11-16 16:02:42
液氧乐队主唱张宇去世,年仅48岁,圈内人士:他之前患有肝硬化

液氧乐队主唱张宇去世,年仅48岁,圈内人士:他之前患有肝硬化

极目新闻
2026-11-19 18:03:25
真没想到,APEC峰会大佬云集,爆火的竟不是雷军,而是一双旧白鞋

真没想到,APEC峰会大佬云集,爆火的竟不是雷军,而是一双旧白鞋

晓踏就是我
2026-11-19 11:54:24
红泳衣有些做作,初次尝试难免拘谨

红泳衣有些做作,初次尝试难免拘谨

穿的像个人样
2026-10-30 05:54:51
TVB台庆夜马国明回应与许志安同场,见面会打招呼,太太是人生大奖

TVB台庆夜马国明回应与许志安同场,见面会打招呼,太太是人生大奖

草莓解说体育
2026-11-20 04:26:05
康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

江东浪流史
2024-12-22 08:00:03
维嘉综艺找来一个“混子”,扫兴抖机灵、阴阳怪气,还总赖着不走

维嘉综艺找来一个“混子”,扫兴抖机灵、阴阳怪气,还总赖着不走

胡一舸南游y
2026-11-20 00:20:04
CBA最新消息!贺希宁确定赛季报销,帕克或加盟深圳男篮

CBA最新消息!贺希宁确定赛季报销,帕克或加盟深圳男篮

体坛瞎白话
2026-11-20 08:48:42
卷到想跑!森林狼灰熊申请转去东部!!

卷到想跑!森林狼灰熊申请转去东部!!

柚子说球
2026-11-20 09:38:02
为什么中国人能够无条件相信解放军?网友:我觉得我还能活!

为什么中国人能够无条件相信解放军?网友:我觉得我还能活!

夜深爱杂谈
2026-11-09 23:13:49
2026-11-20 11:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14517文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

高考522分大学生学冷门专业被指"月薪6位数" 本人回应

头条要闻

高考522分大学生学冷门专业被指"月薪6位数" 本人回应

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

教育
家居
游戏
房产
军事航空

教育要闻

没有条件,创造条件也要上

家居要闻

2026建博会(广州) 公装联探展交流活动

《GTA6》发售当天不工作?Pocketpair摆寿司开派对

房产要闻

2.5亿!丁村侨中,新动作来了!

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版