网易首页 > 网易号 > 正文 申请入驻

AI能否「圣地巡礼」?多模态大模型全新评估基准VIR-Bench来了

0
分享至

大家或许都有过这样的体验:

看完一部喜欢的动漫,总会心血来潮地想去 “圣地巡礼”;刷到别人剪辑精美的旅行 vlog,也会忍不住收藏起来,想着哪天亲自走一遍同样的路线。旅行与影像的结合,总是能勾起人们的探索欲望。那么,如果 AI 能自动看懂这些旅行视频,帮你解析出 “去了哪些地方”“顺序是怎样的”,甚至还能一键生成属于你的旅行计划,会不会很有趣?这不仅仅是阿宅的想象,更是多模态大模型在真实世界应用中的一个重要场景。

正是在这样的启发下,来自日本早稻田大学,CyberAgent 和奈良先端科学技术大学院大学的团队提出了一个全新的多模态大模型评估基准 VIR-Bench ,旨在评测 AI 是否真的能理解旅行视频中的地理位置与时间顺序,从而支撑更复杂、更实用的应用。用一句话来概括,这项研究就是在追问:“我从哪里来?我要到哪里去?”

  • 论文地址:https://www.arxiv.org/abs/2509.19002
  • GitHub:https://github.com/nlp-waseda/VIR-Bench

VIR-Bench 是什么?任务设计与数据集构建

任务目标:行程还原(Itinerary Reconstruction)

在 VIR-Bench 中,给定一个旅行 vlog(在日本拍摄),模型要输出访问顺序图(visiting order graph),也就是 “我去了哪些地点、按什么顺序、地点之间有哪些包含关系” 的结构化表示。

更具体地,这个访问顺序图是一个有向图,其中:

  • 节点表示被访问的地点,按层次分为 Prefecture,City,和 POI(Point of Interest)三层级。
  • 包含边(Inclusion edge) 表示层次上的 “大地理单元包含小地理单元” 关系(例如某 POI 在某个 City 里,某个 City 在某个 Prefecture 里)。
  • 转移边(Transition edge) 表示时间顺序上的移动:从一个节点移动到下一个节点(同层级)表示旅行顺序。

这意味着模型不仅要识别出 “我去过的地点”,还要判断这些地点之间的时间顺序,地理空间关系,进而构建出整个旅行路径的结构。此外,由于旅行视频往往是自拍视角 / 行进视角 / 风光视角等交错出现,模型需要在多样视角、非连续画面中“拼图式” 理解,这进一步提升了任务难度。

为便于模型训练与评测,作者将这一复杂任务拆解为两个子任务:

1. 节点预测:给定视频,模型列出所有被访问的 Prefecture、City、POI。

2. 边缘预测:给定视频 + 节点集合(节点标签顺序被打乱),模型要判断哪些节点之间存在包含边,哪些节点之间存在转移边。即预测边的集合。

通过这种分解方式,我们可以分别评估模型的地理识别能力与时序推理能力,以及它们在实际组合时的协同性。

数据集构建:200 个旅行视频 + 访问顺序图

为了支撑上述任务,作者构建了一个规模适中的专用数据集:

  • 视频数量:200 个旅行 vlog(都在日本拍摄) 。
  • 地点覆盖:共标注出 3,689 个 POI,分布在日本 43 个都道府县(几乎覆盖全日本) 。
  • 标注方式:每个视频由人工注释者识别每个 POI 的起止时间、Google Maps 链接,并通过双人校验后自动构建最终的访问顺序图。

作者在论文中还附上了详细注释指南、数据分布统计等信息(可见 Appendix 部分)。

实验结果与洞察:当前模型面临的挑战

在实验中,作者发现开源模型整体上仍然落后于商用模型,尤其是在 POI 节点识别 和 转移边预测 这两个子任务上差距尤为明显。进一步的分析显示,转移边预测几乎是所有模型的 “最难关”:不少模型要么直接误解了任务要求,要么忽视了层级结构的约束(只有同层级节点之间可以有转移边),结果往往接近随机水平。

另一方面,模型规模的扩展对性能提升具有显著作用,尤其体现在边缘预测上;而是否具备地理相关的预训练,则成为 POI 节点预测精度差异的关键因素。值得注意的是,思维链推理(Chain-of-Thought) 的效果在不同子任务中差别很大:在节点预测中提升有限,但在边缘预测中却能带来显著的改善。如果再进一步结合音频信息(例如 Gemini-2.5-Pro 的多模态输入),效果提升尤为突出。

Ablation 实验也为我们揭示了模型性能提升的几个关键方向:增加输入帧数可以让模型捕捉更完整的旅行线索,更长的推理过程能帮助模型逐步还原旅行顺序,而音频的利用则能提供额外的语义提示。三者结合,共同推动了模型在复杂时空理解任务上的进步。

然而,即便有这些改进,整体性能仍远未达到可用水平。即使是当前得分最高的 Gemini-2.5-Pro,在预测结果中依然存在大量错误,这进一步凸显了多模态大模型在长程地理与时间理解上的巨大挑战。

表1: 节点预测的评估结果

表2: 边缘预测的评估结果

总而言之,VIR-Bench 不仅是一个新的评测基准,更是为未来诸多应用打开了一扇窗口。通过在旅行视频中重建行程顺序,它逼迫模型同时理解 “地理位置 + 时间顺序”,这与机器人如何理解世界、规划路径,以及自动驾驶系统如何在动态环境中进行决策高度契合。

这一研究让我们看清:当前的大模型在长程推理和时空理解上仍有明显不足,但也指明了进化的方向 —— 更强的地理空间感知、更可靠的时间推理,以及多模态信息的深度融合。当这些能力逐渐成熟,AI 将不再只是 “看视频”,而是真正具备 “在世界中行动” 的潜力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
以色列向美国通报伊朗计划暗杀特朗普 伊方:打击在巴林的美军基地是“回应侵略”

以色列向美国通报伊朗计划暗杀特朗普 伊方:打击在巴林的美军基地是“回应侵略”

每日经济新闻
2026-11-16 17:45:09
历史不会重演,但会惊人相似:中国黄金价格极可能重走2015年老路

历史不会重演,但会惊人相似:中国黄金价格极可能重走2015年老路

浩渺青史
2026-10-17 01:48:48
WTT挑战赛:女单冠军诞生!桥本帆乃香4:1夺冠,国乒13人0冠收官

WTT挑战赛:女单冠军诞生!桥本帆乃香4:1夺冠,国乒13人0冠收官

林子说事
2026-11-16 12:29:51
赢下巴林会怎样?这可不只是一场热身赛,国足需要这场胜利

赢下巴林会怎样?这可不只是一场热身赛,国足需要这场胜利

南海浪花
2026-11-17 02:43:22
热搜霸榜三天了!日本希望安排“中日会谈”,被中方拒绝

热搜霸榜三天了!日本希望安排“中日会谈”,被中方拒绝

这里是东京
2026-11-15 17:18:08
为什么往死里扫黄?网友分享太真实了,一次说透

为什么往死里扫黄?网友分享太真实了,一次说透

另子维爱读史
2026-05-27 20:16:03
RTX 5090价格泡沫破裂,二手价从最高7万跌至2.9万

RTX 5090价格泡沫破裂,二手价从最高7万跌至2.9万

三言科技
2026-11-16 14:04:03
心理学:永远“不要跟身边任何人,包括你的亲人、枕边人”,说以下两句话

心理学:永远“不要跟身边任何人,包括你的亲人、枕边人”,说以下两句话

心理观察局
2026-07-23 06:05:08
理想汽车:“动力电池召回”事项、“4000元赔偿”为不法分子冒用车企名义制作、传播的虚假通知,如已泄露敏感信息或转账,及时报警

理想汽车:“动力电池召回”事项、“4000元赔偿”为不法分子冒用车企名义制作、传播的虚假通知,如已泄露敏感信息或转账,及时报警

潇湘晨报
2026-11-16 16:15:17
大家有没有发现?油车加200元油,大致能跑400公里,新能源电车花200元电费,可能能跑2000公里。用车成本差这么大,为什么仍有人买油车?

大家有没有发现?油车加200元油,大致能跑400公里,新能源电车花200元电费,可能能跑2000公里。用车成本差这么大,为什么仍有人买油车?

扶苏聊历史
2026-09-22 16:09:20
“半年感染两次”!网友称每次都又喷又擦,戴两层手套,还是中招!不少人都有相同经历;紧急提醒:感染有潜伏期,这些人要当心

“半年感染两次”!网友称每次都又喷又擦,戴两层手套,还是中招!不少人都有相同经历;紧急提醒:感染有潜伏期,这些人要当心

极目新闻
2026-11-13 15:08:14
董路九年,终于爆发了,吕孟洋之后,又有两个孩子进了西班牙球队

董路九年,终于爆发了,吕孟洋之后,又有两个孩子进了西班牙球队

体育全天候
2026-09-13 19:32:57
大批中国人依然去日本旅游,日媒追问时,他们的回答太扎心

大批中国人依然去日本旅游,日媒追问时,他们的回答太扎心

文字给你力量
2026-10-20 09:57:06
贝拉米:C罗是史上最佳球员之一,能看到他踢球让我心怀感激

贝拉米:C罗是史上最佳球员之一,能看到他踢球让我心怀感激

懂球帝
2026-11-17 02:40:07
楼市开始离谱了!福建的房价,可能会迎来新一轮洗牌,很现实

楼市开始离谱了!福建的房价,可能会迎来新一轮洗牌,很现实

坠入二次元的海洋
2026-11-16 16:29:44
波切蒂诺称必将会晤弗爵,自证心怀曼联梦!曝其或让拉什福德踢中锋

波切蒂诺称必将会晤弗爵,自证心怀曼联梦!曝其或让拉什福德踢中锋

罗米的曼联博客
2026-11-16 11:12:09
国内金饰报价全线下调 最大降幅19元/克

国内金饰报价全线下调 最大降幅19元/克

每日经济新闻
2026-11-12 14:53:04
54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

小徐讲八卦
2025-11-17 07:29:28
未留下遗言,珠海一大学生离世,年仅20岁

未留下遗言,珠海一大学生离世,年仅20岁

智慧生活笔记
2026-11-17 00:16:35
一个家庭最大悲哀,就是人到70多岁,却还在和外人随便说6件事!

一个家庭最大悲哀,就是人到70多岁,却还在和外人随便说6件事!

游戏收藏指南
2026-10-17 04:48:23
2026-11-17 03:11:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14488文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

游戏
旅游
本地
手机
军事航空

小伙表示连玩7天《GTA6》 这下PS5可惨了

旅游要闻

一个山洞几重叫法,彝苗穿青各有说,藏着贵州的温柔!

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

OPPO Reno17 系列发布,全品类新品齐亮相!

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版