网易首页 > 网易号 > 正文 申请入驻

当AI视频模型"走出去又走回来",它还记得原来的世界吗

0
分享至


你大概见过这样的AI视频demo:镜头缓缓穿过一间客厅,沙发、窗帘、窗外的树,一切都挺像那么回事。然后镜头转走了,去看了别的方向,几秒钟后转回来。这时候屏幕上的客厅变了。

不是那种自然的、光线移动造成的细微变化,是窗帘的花纹对不上了,或者沙发干脆变成了另一张沙发,甚至房间的布局整个换了个样。画面依然漂亮,运动依然流畅,但它不再是同一个房间了。

这就是今天要聊的这篇论文想解决的问题。它的名字叫WorldMemBench,来自浙江大学、复旦大学、蚂蚁集团和南京大学的一支联合团队,2026年10月挂在arXiv上。

在这个问题被正式命名之前,整个领域其实是有点乱的。你去看2025年前后的各种视频世界模型榜单,排在前面的模型在画质、清晰度、运动幅度这些维度上分数都不低,VBench、WorldScore这些基准把"好不好看"和"心里有没有物理常识"都测了个遍。可偏偏没有一个榜单认认真真问一句:你走开再回来,还认得出这是哪儿吗?

这不是研究者疏忽,而是这类能力太容易被画质的进步掩盖过去。一个模型可以把每一帧都渲染得无懈可击,但帧与帧之间的"契约"松松垮垮。你看着舒服,是因为你的眼睛只在看当前这一帧。

WorldMemBench想做的,就是把这条松垮的契约揪出来,按在桌面上量一量。

世界记忆,这篇论文给的定义是:模型在观察被打断之后,还能不能保住已经确立的内容,并且让世界状态继续连贯地演化。这里有两个关键词,一个是"静态内容",一个是"动态事件"。前者说的是人长什么样、物体是什么形状、房间怎么布置;后者说的是,你走开的时候,桌上那杯水应该在继续蒸发,而不是凝固成一张照片等你回来。

这个能力为什么难?因为视频世界模型的生成方式是自回归的,也就是一段接一段地往下生成,每一段都以之前生成的内容为条件。

> 自回归生成:可以理解成"接着上一句往下写"。模型生成第100帧时,依赖的是它自己生成的第1到99帧。好处是不需要一次性想好整段视频,坏处是早期的错误会像传话游戏一样一路传下去。

这意味着,如果第一次回望时房间的窗帘颜色偏了那么一点点,这个偏差会立刻变成新的"事实",成为后续所有生成的依据。错误不会自己消失,它会繁殖。

团队设计了一个很朴素的实验动作来逼出这个问题:让镜头走出去,再让它回来。

具体怎么走?他们造了两类轨迹。第一类是平移,镜头保持朝向不变,走一条"前进、向右、后退、向左"的方形回路,最后回到起点。第二类是旋转,镜头的物理位置完全不动,只改变朝向,左转再右转算一圈,可以转两圈、三圈,也可以在左右转完之后换成上下俯仰。

> 轨迹:这里指的是镜头在虚拟空间里走过的路径。论文用字母简写来标记,LRLR就是"左、右、左、右",LRLRLR是转三圈,LRUD是"左右"转完接"上下"转。

为什么要设计"同轴转多次"和"换轴转"这两种花样?因为它对应的是两种不同的失败模式。同一个方向转三次,考验的是模型会不会在反复回到同一个视角时逐渐漂移;换一个轴转,考验的是当"回来"这个动作的几何构型变了,模型还认不认得路。

这里就值得停下来想想了。假设你戴着一副只能看见前方的眼镜,站在自家客厅里。你转身去看书架,再转回来。如果你转回来时看到的是另一个客厅,你会立刻意识到不对。但如果你转回来时看到的是同一间客厅,只是花瓶的位置挪了三厘米、窗帘的颜色浅了一点点,你多半不会察觉,你会继续生活下去。可对模型来说,那三厘米和那一点点颜色,就是"已经不是同一个世界"的定义。

这就是这个基准的核心:它不测模型会不会画,它测模型会不会忘。

那怎么量"忘没忘"?论文建立了一套固定参照的比对机制。

> 固定参照:就是拿第一次看到某个东西时的那一帧当基准。后面每一次回望,都跟这个基准比,而不是跟"上一次回望"比。这个区别很重要,如果跟上一次比,两次都错得一样就会被判为正确。

比对的对象分三块。人的记忆,用ArcFace提取的人脸特征来判断身份是否还是同一个人,用DINOv2在人体掩码内提取的特征判断衣着和整体外观是否一致。物体的记忆,同样用DINOv2看外观,另外把物体的轮廓裁出来、缩放到同一画布上算交并比,看形状有没有走样。

> ArcFace:一种专门做人脸识别的神经网络,它把人脸映射成一个向量,同一个人不同角度的照片算出来的向量距离很近,不同人则很远。

> DINOv2:一种通用的视觉特征提取器,它给一张图片或某个区域生成一组数字表示。两组数字越接近,说明外观越相似。

环境的记忆测得最细,分三个层次。可见性用全局特征比对回来的画面和初始画面像不像;深度相关性用秩相关系数检查远近关系有没有被打乱,这个指标只看"谁在前谁在后",不在意绝对距离;球面重建分数则把初始视角和回望视角的深度观测投影到同一个球面网格上,对齐尺度之后比较重建出来的表面,多出来的面、缺失的面、位置对不上的面都要扣分。

> 秩相关:只看排序是否一致的相关性度量。如果初始画面里桌子比椅子近,回望画面里也必须桌子比椅子近,具体近多少不重要。

动态记忆的测法完全不一样,这也是我觉得这篇论文里最能体现研究者诚意的地方。它不再比相似度,而是给每个测试案例预先写好八道是非题,覆盖四个维度:事件有没有继续推进、状态是被保留还是被重置了、最终状态对不对、因果和物理是否合理。答题的是一个视觉语言模型,Qwen3.8-27B。

> 视觉语言模型(VLM):既能看图又能读文字、还能用文字作答的大模型。这里它扮演的是评卷老师,看着一段视频抽帧回答预设的问题。

最巧妙的是这里设了一道闸门。评分模型要先判断一件事:这个事件在镜头离开之前,有没有真的开始?如果一开始就没开始,后面八道题全部记零分。这个设计直接戳破了一类假象:模型可能压根没生成任何动态,而是画了一张静态的漂亮背景板。

这就好比你想考察一个学生会不会做菜,但你要先确认他真的走进厨房点了火。如果他从头到尾只是在餐桌旁坐着,你问他"这道菜火候够不够"是没有意义的,那不是一个答错的问题,那是一个根本没发生的问题。如果省掉这道闸门会怎样?你会发现,一个完全静止、画面极美的模型,在"最终状态是否正确""因果是否合理"这些题目上可能侥幸拿分,因为它画的那个静止状态恰好和题目描述的末态吻合。闸门一关,这种运气分就没了。

闸门这个概念还可以再往下推一层。团队不光看总分,还把"事件启动率"和"启动之后的答题正确率"拆开报告,这就让每个模型的失败原因变得透明了。

整个基准一共260个测试案例,23个语义类别。人相关60例,物体70例,环境70例,动态60例。前三个家族合起来构成200例的静态记忆测试集,动态记忆单独占60例。轨迹长度控制在20到35秒之间,这个长度不是随便定的,太短了记忆压力不够,太长了很多模型根本撑不满,测试会退化成对采样配置的考察。

现在说结果,这部分是真的有意思。

HY-WorldPlay这个模型在七项静态记忆指标上全部排第一。Human ID 0.828,Human Appearance 0.830,Object Appearance 0.879,Object Geometry 0.761,Env. Visible 0.947,Env. Depth 0.905,Env. Recon. 0.619。尤其是环境可见性0.947这个分数,意味着它走开一圈再回来,看到的画面和当初看到的几乎重合。

但它的动态记忆总分只有0.294。

原因就在那道闸门上:60个动态测试案例里,它只有19个真的让事件动起来了,启动率31.7%。而在那19个真的动起来的案例里,它的答题正确率是0.928,高得吓人。

换句话说,HY-WorldPlay不是不会演,是它压根不肯演。它倾向于维持一个稳定的、不变的世界,因为不变最不容易出错,最容易在静态比对里拿高分。

这里必须插一句:同样的闸门下,LingBot World启动了60个案例中的56个,启动率93.3%,条件正确率0.866,最终0.808的总分排第一。YUME启动率90%,总分0.775排第二。Matrix-Game 3则是另一个极端,60个案例只启动了3个,启动率5%,虽然那3个案例里答题正确率有0.917,但总分被压到0.046。

三个模型,三种性格。一个稳健到近乎固执,一个该动就动,一个干脆躺平。光看总分,你会以为它们差得很远;把闸门拆开看,你会发现它们的差别其实在完全不同的地方。

这就像三个人参加一场即兴表演考试。第一个演员全程站得笔直,动作极少,但每一个动作都很标准;第二个演员该哭哭该笑笑,动作幅度大,偶尔出戏;第三个演员上场就站着不动,一句话不说,但表情管理满分。考官如果只打一个总分,这三个人看起来差不多水平。可你把他们请去拍不同类型的戏,选角结论会完全不同。

静态记忆很强不代表能演化世界这件事,还有更硬的证据。同一个模型在三种不同旋转轨迹下的表现,差得比想象中大。同一个方向的左右转,九模型平均在环境可见性上从第一次回望到第二次回望掉了0.126;而换成左右转完再上下俯仰,这个跌幅变成了0.278,多掉了0.152。

0.152这个数字意味着什么?如果满分1.0代表"回到原样",那这额外的0.152差不多等于模型从"基本认得出这个房间"退到了"认出个大概但方位明显不对"。换一个探索轴,代价就是这么大。

这个现象背后的机制论文拆得很清楚。一是视角对齐越来越难,九模型平均的旋转误差从第一次回望的0.430涨到第二次的0.502,再到第三次的0.530。镜头每多转一圈,"回来的方向"就更难和"当初看的方向"对上。二是自回归误差在接力,早段生成的外观和几何偏差,会变成后段的生成条件,链条越拉越长,偏差越滚越大。

再来看看反复回望的累积衰减。在LRLRLR这条转三圈的轨迹上,九模型平均的物体外观从第一次回望到第三次回望掉了0.229,人的身份掉了0.217,物体几何掉了0.205,环境重建掉了0.196。而且这个趋势是逐模型成立的:在人、物体、环境可见性、环境重建这四项上,九个模型无一例外都是第三次回望比第一次差。

这就有意思了。第一次回望时能把内容找回来,不代表第二次第三次还能找回来。只测一次回望的基准,会严重高估模型的记忆能力。

> 累积衰减:不是一次性丢干净,而是每回望一次丢一点。单次测试看不见,多次才显形。

研究者还做了个很扎实的排除性检验。他们担心,会不会是模型其实记得内容,只是镜头没转回正确的位置,导致比对时对不上?所以他们加了一道筛选:只有当镜头确实离开了至少30度、并且回来时误差在30度以内,这个案例才算数。筛完之后剩下431个环境模型-案例对,结果环境可见性从第一次到第三次回望仍然掉了0.152,深度掉0.135,重建掉0.139。

衰减还在。而且他们把容差收紧到15度和5度重复了一遍,三个环境指标的效应依然为正。这说明退化不是"镜头没走对"这一个因素能解释完的。

还有个数据我觉得特别值得单独摆出来看。在筛选过的281对案例上,换轴带来的额外衰减在环境可见性上是0.128,但模型之间的差异大得离谱:LingBot World在环境可见性上的额外衰减是+0.368,在深度上是+0.465;而Evoke这两个数字分别是+0.002和-0.098。九模型里,环境可见性上有八个是正的,环境深度上也是八个正的,到重建就只剩五个。

平均值掩盖了巨大的个体差异。有的模型换轴几乎无感,有的模型一换轴就崩。

论文最后还做了个诊断性的案例研究,我觉得这部分比主结果更有实用价值。

他们固定住LingBot World v2这个模型,其他生成设置全部不动,只改一件事:生成当前片段时,模型能"看到"多少历史。三种策略比较:FullKV能看到全部历史;Sliding Windows只能看固定预算内的最近内容;FoV在同一预算内,把一部分额度分给了"跟当前视野相关的"历史片段。

结果FoV在十一项能力指标里八项最好,全面超过Sliding Windows;跟FullKV比,动态记忆的四个子项和人的两项都更高,但物体外观、物体几何、环境可见性三项目FullKV保持领先。而且FoV还更快,平均延迟262.7秒对FullKV的322.2秒,快了1.23倍。

> KV缓存:模型在生成时保留的历史信息。历史看得越多,画面越连贯,但计算越慢、显存越吃紧。所以"看多少历史"本身就是一个需要权衡的设计选择。

这个结果其实挺反直觉的。一般人会想,历史信息当然是看得越全越好。数据说不是,看全了反而在动态记忆上更差。合理的解释是,全部历史里塞满了大量跟当前视野无关的内容,它们会稀释模型的注意力,让模型把"延续某个远处的东西"当成了优先事项,反而忘了眼前的事件该往前推。

这就像你出门旅行带了整整一箱行李,什么都有,结果在机场找护照翻了二十分钟。而如果你只带一个按行程分格的小包,每样东西都在它该在的位置,你伸手就拿到。行李带全了不等于效率高,关键是你要用的那件在不在手边。

团队的贡献可以这样概括。

提出了WorldMemBench这个基准,260个案例覆盖23个类别,200个静态记忆案例专门测人、物体、环境,60个动态记忆案例覆盖七类离屏状态转移。

设计了固定参照的多回望协议,同轴和换轴两种回望都有,配合针对每个动态案例单独写的事件清单。人评显示,六项静态指标上自动评分和人类判断的一致率在78.5%到92.5%之间,动态记忆总分和人类的斯皮尔曼相关系数是0.732。

> 斯皮尔曼相关系数:衡量两组排序的一致程度,1是完全一致,0是毫无关系。

评测了九个当前的代表性视频世界模型,发现没有任何一个模型能在四个维度上全面领先,而且记忆会随着回望次数累积退化,对探索方向和上下文访问策略都很敏感。

人评部分还有几个细节值得说。静态记忆用的是盲测A/B偏好实验,504对视频,每对三个标注员判,模型身份和顺序都隐藏。六项指标里环境可见性的一致率最高,92.5%,斯皮尔曼0.988;环境深度最低,81.8%,斯皮尔曼0.301。动态记忆那边,50个实例400个清单项,三个标注员独立作答,总体的斯皮尔曼0.732,PLCC 0.808,四个子维度里因果与物理这一项和人类的一致性最低,只有0.401。

因果与物理最难对齐,这本身是个信息量很大的观察。可能的原因是,判断"这个动作的物理后果是否合理"需要的推理链条比"A和B长得像不像"长得多,中间任何一环的模糊都会让两个人类标注员之间先产生分歧。

写在后面。

读完整篇,我最想拿出来说的是那个闸门设计背后的东西。

论文没有把"事件启动率"藏起来,而是大大方方印在表5里,让HY-WorldPlay的31.7%和LingBot World的93.3%并排放着。这个选择本身就带着态度:它承认了"总分低"可能有两套完全不同的病因,一种是不会演,一种是不肯演,而这两者的改进方向截然相反。

如果只看总分,HY-WorldPlay排在中游,你会以为它是个平庸的动态世界模型。加上闸门,你会意识到它可能是所有模型里静态一致性做得最好的那一个,只是进化策略极端保守。这两种解读导出的后续工作方向完全不一样:一种是想办法提升动态生成质量,另一种是想办法让它敢于打破现状。

我甚至觉得,这个闸门揭示的问题比记忆本身更值得追问。HY-WorldPlay的静态分数那么好,动态启动率那么低,两者之间大概率不是巧合。维持一个不变的世界,恰恰是让每一次回望都对得上的最省力办法。也就是说,模型的两种能力之间可能存在一种此消彼长的关系,而不是可以同时拉满的两个独立维度。

如果这个猜想成立,那"让世界模型既记得住又活得起来",就不只是一个工程优化问题,而是一个目标函数本身的取舍问题。你奖励它对得上,它就学会了不动。

那么新的问题来了:一个真正的世界模型,应该被奖励去维持现状,还是被奖励去承担变化的风险?这个答案,可能要等下一个基准来给。

Q&A

Q1:WorldMemBench是什么?

A1:WorldMemBench是浙江大学、复旦大学、蚂蚁集团和南京大学联合提出的一个评测基准,专门用来测量AI视频世界模型的"世界记忆"。它通过让镜头走出去再回来,检查模型还能不能认出之前看到的人、物体和房间,以及走开期间事件有没有继续演化。整个基准含260个测试案例、23个类别,涵盖静态记忆和动态记忆两大类。

Q2:静态记忆和动态记忆有什么区别?

A2:静态记忆测的是模型还认不认得之前看到的内容,比如人的身份和衣着、物体的外观和形状、房间的布局和深度关系,比对的是第一次看到时的那一帧。动态记忆测的是镜头离开期间事件有没有继续推进、状态有没有被保留、最终状态对不对、因果物理是否合理,用一个视觉语言模型按预设的是非题清单打分。

Q3:为什么有些模型静态很强但动态很弱?

A3:因为让世界保持不动,恰好是让每次回望都能对上的最省力策略。HY-WorldPlay拿下全部七项静态记忆指标第一,但60个动态案例里只有31.7%真的让事件动起来,动态总分只有0.294。反过来LingBot World事件启动率93.3%,动态总分0.808排第一。这说明两种能力之间可能存在此消彼长的关系。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
重磅!英伟达突然对华停售H200芯片

重磅!英伟达突然对华停售H200芯片

大厂财经社
2026-11-18 23:43:23
11月19日,人社部与财政部有发布,关于2026年调整养老金的通知文件吗?

11月19日,人社部与财政部有发布,关于2026年调整养老金的通知文件吗?

小谈食刻美食
2026-11-19 20:44:49
ESPN爆料詹姆斯向76人教练组提出要求,遭詹姆斯社媒直接开怼

ESPN爆料詹姆斯向76人教练组提出要求,遭詹姆斯社媒直接开怼

夜白侃球
2026-11-19 19:40:55
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
调查发现:若晚餐经常吃太早,用不了半年,胰腺或迎来7个改变

调查发现:若晚餐经常吃太早,用不了半年,胰腺或迎来7个改变

人间颂
2026-11-11 16:25:07
很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

西昆仑Bruce
2026-11-19 16:57:57
“深圳现象”下,所有广州人该有的反思

“深圳现象”下,所有广州人该有的反思

王二哥老搞笑
2026-11-19 16:41:19
民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

阿尔卑斯瞭望
2026-11-19 18:51:50
“抢公章”!黄仁勋动手了

“抢公章”!黄仁勋动手了

华商韬略毕亚军
2026-11-19 10:07:29
AI复活电子垃圾之:压了十年泡面的 Kindle,终于翻身了

AI复活电子垃圾之:压了十年泡面的 Kindle,终于翻身了

果壳
2026-11-19 16:17:10
美国承认了,很多人以为美国不介入台海是还在犹豫。错了!真相是,他们早就做好了算术题:打不赢,也赔不起

美国承认了,很多人以为美国不介入台海是还在犹豫。错了!真相是,他们早就做好了算术题:打不赢,也赔不起

扶苏聊历史
2026-10-12 13:53:05
没有NTR!《GTA6》男主只能和女主上床 解锁条件曝光

没有NTR!《GTA6》男主只能和女主上床 解锁条件曝光

游民星空
2026-11-19 22:17:06
波切蒂诺走马上任亮相曼联!下机不睡觉直奔训练场,第一件事剪头发

波切蒂诺走马上任亮相曼联!下机不睡觉直奔训练场,第一件事剪头发

罗米的曼联博客
2026-11-19 06:46:58
中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线

中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线

扶苏聊历史
2026-11-18 14:15:42
不再照单全收!大批留美学者临退休扎堆回国,中国不做养老接盘地

不再照单全收!大批留美学者临退休扎堆回国,中国不做养老接盘地

浯江孤舟
2026-11-19 09:17:25
DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

DeepSeek,千亿融资落地:外部股东囊括腾讯、中国移动、宁德时代、兆易创新等

每日经济新闻
2026-11-19 14:51:05
21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

LULU生活家
2026-11-19 16:59:58
14年深圳老酒店,凭啥接下特朗普?

14年深圳老酒店,凭啥接下特朗普?

旅界Pro
2026-11-19 07:27:00
看哭!25岁妈妈含泪记录2岁宝宝生命最后11天:“他以为好好吃饭就能活下去,我抱着孩子一秒一秒告别…”

看哭!25岁妈妈含泪记录2岁宝宝生命最后11天:“他以为好好吃饭就能活下去,我抱着孩子一秒一秒告别…”

上观新闻
2026-11-19 12:41:54
告别“长枪短炮”,外媒记者纷纷点赞:想要一台

告别“长枪短炮”,外媒记者纷纷点赞:想要一台

极目新闻
2026-11-19 17:03:52
2026-11-20 01:24:49
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10631文章数 573关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

时尚
家居
亲子
本地
军事航空

聚光时刻,2026 时尚COSMO美容大赏年度全榜单揭晓!

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

性别中立教育真的刻不容缓啊

本地新闻

乌兰察布:以前种土豆,现在种Token

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版