网易首页 > 网易号 > 正文 申请入驻

AI读完了互联网,却可能不知道杯子会掉下桌,世界模型才是终解

0
分享至


大语言模型可以写出一篇关于重力的物理论文,可以解释摩擦系数与接触面积的关系,可以背诵牛顿定律的每一种标准表述。但如果你把它装进一台机器人,让它在真实的厨房里拿起一个玻璃杯,它可能不知道推到桌边意味着什么。

不是因为它没读过"杯子会摔碎"这类句子。人类语言里记录了无数次类似的事件。问题在于,没人会把这些句子写成机器人需要的那种格式。人们说"他拿起杯子喝了一口水",不会同时交代手指需要施加多少压力、杯壁与指尖的摩擦系数是多少、杯子被盘子挡住一半时该从哪个角度伸手、推到距桌边还有三厘米时继续用力会发生什么。

这些"没人专门写出来"的知识,恰恰是机器在现实世界中行动时必须掌握的。

今天这批最强大的AI,本质上训练目标是同一个:根据前面的文字,预测下一个词。这个目标让它们学到了人类语言中沉淀的大量规律,包括一部分物理常识和社会规则。但它有一个绕不过去的盲区——文字描述世界,不等于在世界中行动。读过十万遍"杯子会从桌上掉下来",和真正看着一个杯子从桌边滑落、伸手去接却慢了一拍,是两种完全不同的经验。

机器人没有后一种经验。它连"接慢了杯子会碎"这种人类幼儿靠几次打翻牛奶就能学会的事情,都还没亲身经历过。

于是出现了一个奇怪的断层:AI越来越擅长说话,但在真实世界里仍然笨手笨脚。想要补上这一课,它需要的不只是更大的语料库,而是一种全新的能力——在动手之前,先在内部问自己一句:如果我这样做,接下来会发生什么。

这套能力,研究者称之为世界模型。

世界模型的核心不是世界,而是"如果我这样做"

"世界模型"这个名字很容易让人误解。它听起来像是要在AI的大脑里建一座数字地球,把每片树叶、每道光影、每个空气分子都装进去。

现实中没有人在做这件事。世界模型不需要保存整个宇宙,它只需要记住与当前任务有关的信息,越少越好。

假设一个机器人要把杯子放进洗碗机。它不需要知道杯子上印着什么花纹、天花板装了什么牌子的灯、桌面木纹是什么纹理。它需要知道的是:杯子在哪里,杯口朝哪个方向,杯子是不是易碎品,机械臂伸过去会不会撞到盘子,洗碗机的门有没有打开。

这种取舍,类似地铁线路图。真实的城市地理极其复杂,但坐地铁只需要知道站点位置、换乘关系和运行方向。线路图严重扭曲了实际距离和地形,却比一张卫星照片有用得多,因为它保留的恰好是跟"乘地铁"这件事有关的结构。

世界模型要做的也是同一件事:从原始传感器数据——摄像头画面、深度信息、关节角度、触觉读数——中提取与行动有关的关键信息,把一座混乱的现实压缩成一套可计算的内部状态。

有了状态之后,第二步才是世界模型真正的核心能力。

它要回答一个问题:如果智能体现在执行某个动作,环境会变成什么样。

用更正式的语言说,世界模型是一类能够进行"动作条件未来预测"的系统。它不只是猜测世界自然而然会怎样变化——云会往哪飘,影子会怎么挪——而是专门预测"我做了某件事以后"会发生什么。推杯子一下,杯子会滑多远。抓杯子的位置偏了几毫米,杯子会不会从夹爪里滑出去。先拉开抽屉再伸手,跟直接伸手之间,成功概率差多少。

这才是世界模型和大语言模型最本质的区别。大语言模型问你"下一句话是什么",世界模型问你"下一步做什么"。

AI不需要在脑中渲染4K世界,只要记住杯子和桌边的距离


看到"预测未来画面"这几个字,直觉会指向视频生成模型。如果机器人准备推一个箱子,最直观的办法似乎是先生成一段未来视频,看看箱子会被推到什么位置。

但完全按像素生成未来画面是一种巨大的浪费。模型需要计算墙面上每一块纹理该怎么变化、无关背景里的光影该怎么流动、空气中每个微小颗粒该怎么折射。这些细节对判断"箱子会不会撞墙"毫无帮助,却会消耗大量计算资源,还会引入一堆可能出错的环节——箱子还没推到墙边,背景里的窗帘已经莫名其妙变了颜色。

一类更务实的世界模型选择了另一条路。它不在像素层面工作,而是在压缩后的"潜在空间"里做预测。

一张厨房的高清图像包含几百万个像素,但对机器人真正重要的信息可能只有几十个变量:杯子在机械臂左前方,抽屉关着,水槽区域可以通行,目标物体被盘子挡住了一半。模型把原始图像编码成一组抽象数字,这些数字不像照片那样肉眼可读,却保留了跟行动有关的结构。然后模型在潜在空间里预测:如果机械臂往右移动20厘米,这组数字会怎么变;如果先绕开盘子再伸手,数字序列又会怎么变。

这跟人类思考"把杯子往前推会掉下去"时发生的事很像。你不会在脑中渲染一段4K分辨率的慢动作视频,看清杯子表面的每一处反光。你只需要记住杯子、桌边和运动方向这几个关键要素,就能得出判断。

最适合机器人规划的世界模型,可能恰恰是画面最不逼真的那一种——它最懂得该忽略哪些像素。

Google让AI现场生成游戏世界,但画面真实不等于物理真实

另一条技术路线选择了相反的方向。它不压缩画面,而是直接生成一个可以在里面行动和探索的虚拟环境。

Google DeepMind的Genie系列走的就是这条路。Genie 2能从一张静态图像或一段文字描述出发,生成可以实时操控的3D场景,智能体在里面跳跃、游泳、与物体交互。Genie 3进一步做到24帧每秒、720p分辨率的实时生成,环境一致性可以维持几分钟。这听起来像是给AI造了一台可以自己生成关卡的游戏引擎。

但画面看着像真实世界,和画面里的物体遵循真实世界的物理规律,是两件不同的事。

一个视频生成模型可以做出非常漂亮的汽车转弯画面:光影柔和,背景虚化到位,轮胎扬起的灰尘都有模有样。但如果你逐帧检查,可能会发现车轮的滑动方向跟方向盘角度对不上,车身在转弯时悄悄变长了几厘米,路边的一棵树在车身经过后凭空消失又出现在另一个位置。对一段用来欣赏的视频来说,这些错误只持续几帧,观众根本注意不到。对一辆正在用这个模型做路径规划的自动驾驶汽车来说,任何一个错误都可能变成真正的危险。

生成式世界模型目前最大的限制就在这里:它在视觉上很逼真,在因果上不一定可靠。"视觉上像一个世界"和"可以当作真实世界的替身来训练机器人",目前还是两种完全不同的标准。

机器人最昂贵的不是计算,是现实中的每一次失败

那为什么还要费这么大功夫做世界模型?直接让机器人在现实里多试几次不就行了?

现实中的试错成本高得离谱。一个机器人练习抓杯子,失败一次可能摔碎一个杯子。失败十次可能损坏夹爪。失败一百次可能撞翻实验台。现实中的时间也没法快进——练一次抓取需要几秒,练一万次就需要一天,练一百万次就需要几个月。自动驾驶汽车如果只能在真实道路上学习应对极端情况,那第一次冲出结冰弯道时就没有第二次了。

世界模型提供了一条完全不同的训练路线:先在内部模拟中犯错,把代价极低的虚拟失败全部经历一遍,再挑出最有希望的动作方案,放到现实中执行。

这就像飞行员训练。没有人会让新手开着真正的波音客机去练习引擎失效降落。所有致命错误都在模拟器里犯完,所有极端情况都在模拟器里反复经历,直到肌肉记忆形成,直到每一个操作都变成条件反射,然后才坐上真实的驾驶舱。

机器人可以做的事更灵活一些。它不需要一次规划完整个过程然后闭着眼睛执行到底。它可以每执行一步就重新观察环境,更新内部世界模型,再预测接下来的几步,然后只迈出下一步。观察—预测—执行—再观察,这个闭环让预测误差不至于累积到不可收拾的地步——就像天气预报不会一次给你下个月的每日详情,但它可以每天根据最新数据修正接下来几天的预测。

2022年有一项叫DayDreamer的研究,让四种完全不同的实体机器人利用世界模型在现实中进行训练。其中一台四足机器人,从躺在地上完全不知道该怎么做开始,大约一个小时内学会了翻身、站立和行走;受到外界推挤后,大约十分钟内就能适应步伐变化。它不是在真实地面上摔了几万次才学会走路——大部分"摔倒"都发生在模型的内部想象里。

世界模型会撒谎,AI可能比人类更善于利用它的谎言

把世界模型说得太可靠会制造另一种误解。它在内部模拟中表现完美的策略,放到现实中可能彻底失效。

最常见的崩溃模式叫"滚动误差"。模型预测下一秒时可能只偏了一厘米——这听起来可以接受。但问题是,下一秒的预测是建立在上一秒预测出来的状态之上的。在错误的状态上做新的预测,会放大误差。连续预测十步以后,机器人可能在内部模拟里已经稳稳抓住了杯子、举高了手臂、转身走到了水槽边,而在现实中,杯子早在第三步就已经从夹爪里滑了出去,后面七步的"规划"全部建立在压根没发生过的事情上。

有了误差累积还不够,还有另一种更隐蔽的问题。

世界模型不是现实本身。如果它的内部模拟存在某种漏洞——比如错误地认为某个角度可以穿过桌面,或者快速撞墙反而会让抓取概率上升——智能体可能在虚拟训练中发现一条现实中根本走不通的"捷径"。它在内部模拟里得分极高,回到现实后就撞墙。

这就像游戏玩家卡BUG。不是按照设计者预期的路线完成任务,而是利用墙体碰撞的数值漏洞直接穿模。对游戏而言这可能是件有趣的事,对机器人或自动驾驶而言,这就不是闹着玩的了。

所以任何稍微严肃一点的世界模型系统,都不能只靠自己。它需要多套模型交叉验证预测,需要对高风险区域保持保守态度,需要物理引擎在已知的刚性力学部分兜底,需要传感器在每一次真实执行后立刻反馈纠偏。世界模型是一套强大的规划工具,但它不是一个可以替代物理约束的魔法盒子。

机械臂、汽车和无人机,看到的根本不是同一个世界

就算一个世界模型在某款机器人身上表现得很好,把它直接搬到另一种机器人身上也很可能失败。

假设房间里放着一把椅子。对一台轮式机器人来说,椅子可能是障碍物,底部间隙太窄过不去。对一台人形机器人来说,椅子可以绕开、可以推开、也可以坐上去。对一台无人机来说,椅子只是一个需要从上方飞过的低矮物体,地面摩擦对它来说根本不存在。对一台固定式机械臂来说,椅子的大部分区域根本够不到,整个工作台以外都是无关地带。

同一把椅子,同一个房间,在不同身体面前意味着完全不同的东西。

这让"通用世界模型"的设想变得极其困难。互联网上有海量视频可以用作训练数据,人类走路、球弹跳、门旋转、汽车转弯——但这些视频通常都不带动作标签。你不知道拍摄者用了多大的力、每个关节的精确角度是多少、转向时方向盘打了几度。模型只能从"下一帧长什么样"中推测规律,却学不到"特定动作会导致特定结果"这条因果关系。

世界模型真正需要的是动作数据——智能体做了什么、随后环境变成了什么。而这类数据与具体的身体结构牢牢绑定。机械臂的动作空间是一组关节角度和夹爪开合;无人机的动作空间是电机转速和姿态角;自动驾驶汽车的动作空间是方向盘角度和油门深度。这三种动作无法互换。

这也是为什么目前更现实的路线不是"一套模型统治所有机器人",而是针对不同类型分别设计专用世界模型。先用海量普通视频学会看懂物体运动的基本规律,再用少量的、带动作标签的专用数据学会预测特定身体的行动后果。

Meta的V-JEPA 2走的就是这条路:超过100万小时的普通视频预训练,加上不到62小时的机器人动作数据后训练。模型在新环境中可以为一个机械臂规划抓取路径,不需要针对每一件新物体重新训练。这个"零样本"能力有严格的前提——它仍然看过大量抓取动作,只是不需要在每个新任务上都从零开始。

机器能预测下一秒,不代表它理解为什么


这引向世界模型最深的一道坎:预测得准,不等于真正理解。

一个模型看过一万段球落地的视频,可能学到"球通常会掉下去"。但你突然递给它一个气球——重量只有普通球的三十分之一,落地时间完全不一样——它可能就懵了。再换一个场景——不是在空气中下落,而是在水里——它可能完全猜不出结果。再换一下——把球体换成细长杆,杆的两端可能碰到不同障碍物——模型的预测可能就彻底散架。

背熟一百道"球体下落的轨迹"题目,和解开"重力如何影响任意形状的物体"这道定律,是两种完全不同的能力。

人类对世界的理解,有一部分可以在没有身体经验的情况下获得——比如通过阅读和数学推导学会天文学。但另一部分——比如判断一个物体有多重、一块表面有多滑、一个缝隙能不能挤过去——可能深深依赖身体长期与物理世界互动形成的感觉。目前还不清楚,仅靠观看海量视频,而没有身体介入,机器能不能真正弥合这条统计规律和因果理解之间的裂缝。

这也是为什么"世界模型是否通向通用人工智能"这个问题,目前仍然是一个判断,不是一个已经被验证的结论。支持者认为,人类智能最重要的能力之一就是在脑中模拟行动后果——不下棋时推演棋局,不做饭时想象食谱——而只靠预测下一个词,可能永远练不出这种肌肉。Google称Genie系列是"通向AGI的垫脚石",Meta把V-JEPA 2描述为"迈向高级机器智能的一步"。

但这些仍然是愿景。从实验室的机器人抓取到开放世界中安全、可靠、长期的行动,中间还有好几道关要过:长期预测何时崩溃、模型是否知道自己不知道、预测失败会不会产生真实危险、不同身体之间的模型能否部分共享、视觉上的逼真能否转化为行动上的可靠。

下一代的AI,可能不是知道更多,而是想得更远

大语言模型像一名读过无数书籍的学生。它知道人类怎样描述重力、碰撞和抓取,却很少需要为一句错误回答付出物理代价——打错一个字不会摔碎杯子。

机器人没有这种余地。杯子掉下桌会碎,汽车误判一次就可能撞车,机械臂抓偏几毫米会让后面所有步骤全部作废。世界模型试图补上的,正是文字智能长期缺少的那一层:在真正行动前,先在内部问一句"如果我这样做,接下来会发生什么"。

它未必会在机器脑中复制一整个地球。但只要能把关键后果预测得足够准确——杯子距桌边还剩多远、往前推会不会掉、换一个角度抓会不会更稳——AI就可能从会回答问题的工具,逐渐变成能够在现实中规划、试错和修正的行动者。

真正决定这条路线成败的,不是虚拟世界渲染得有多逼真。而是机器从想象回到现实以后,那个杯子是否仍然稳稳握在手中。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
湖北小伙贷款开制冰厂:前3个月亏30万,现旺季日产30吨月赚30万

湖北小伙贷款开制冰厂:前3个月亏30万,现旺季日产30吨月赚30万

小陆搞笑日常
2026-08-02 10:09:09
他们终于输了!日本队高兴高早了:2-3倒下 终结13连胜 美国进决赛

他们终于输了!日本队高兴高早了:2-3倒下 终结13连胜 美国进决赛

林子说事
2026-08-02 01:09:33
国际足联公布世界杯半决赛阿根廷2比1英格兰的裁判视角集锦,贝林厄姆赛后对裁判讲话曝光:判罚令人震惊,但祝你好运

国际足联公布世界杯半决赛阿根廷2比1英格兰的裁判视角集锦,贝林厄姆赛后对裁判讲话曝光:判罚令人震惊,但祝你好运

艳儿说电影
2026-08-01 17:06:34
“原来韦神和王虹的差距这么大!”人民日报连发多轮报道,才令人看清现实

“原来韦神和王虹的差距这么大!”人民日报连发多轮报道,才令人看清现实

妍妍教育日记
2026-07-29 17:55:01
日媒透露:高市早苗已有两月未与任何外国领导人通电话;安倍晋三当年每月与特朗普通一次话,即使没有大事,也会问候特朗普妻子

日媒透露:高市早苗已有两月未与任何外国领导人通电话;安倍晋三当年每月与特朗普通一次话,即使没有大事,也会问候特朗普妻子

鲁中晨报
2026-08-02 10:58:02
1984年美国卖给中国24架黑鹰直升机,40年后,美军高层在公开场合表示:这是他们职业生涯中最严重的战略误判

1984年美国卖给中国24架黑鹰直升机,40年后,美军高层在公开场合表示:这是他们职业生涯中最严重的战略误判

人生录
2026-08-02 00:05:11
未来5年,房子车子会走下坡路,真正值钱的,就是这“3样东西”

未来5年,房子车子会走下坡路,真正值钱的,就是这“3样东西”

猫叔东山再起
2026-08-02 13:00:07
刘翔的烦恼:上一年耐克的1400万代言费还没花完,今年又到账了

刘翔的烦恼:上一年耐克的1400万代言费还没花完,今年又到账了

喜欢历史的阿繁
2026-08-02 00:14:45
玉米是胆固醇的杀手?医生提醒:胆固醇高的人,4样素菜最好少吃

玉米是胆固醇的杀手?医生提醒:胆固醇高的人,4样素菜最好少吃

白宸侃片
2026-08-02 00:16:32
央视主持阵容大换血:康辉“换桌”,李梓萌归位,撒贝宁令人意外

央视主持阵容大换血:康辉“换桌”,李梓萌归位,撒贝宁令人意外

皮皮电影
2026-08-02 14:35:13
全世界倒吸一口凉气

全世界倒吸一口凉气

牛弹琴
2026-08-02 08:10:49
高配版的夫人越来越多了

高配版的夫人越来越多了

微微热评
2026-08-01 19:14:32
海滩热恋抓拍!菲利克斯与21岁阿根廷网红水中拥吻,新恋情浮出水面

海滩热恋抓拍!菲利克斯与21岁阿根廷网红水中拥吻,新恋情浮出水面

友谊第一
2026-08-02 12:04:24
辽宁男篮报价15+4新小外援,遭山东男篮大幅抬价,新大外援基本确定

辽宁男篮报价15+4新小外援,遭山东男篮大幅抬价,新大外援基本确定

中国篮坛快讯
2026-08-02 14:50:58
东方甄选前CEO孙东旭新号首播,登上抖音带货总榜首位,热度超过与辉同行

东方甄选前CEO孙东旭新号首播,登上抖音带货总榜首位,热度超过与辉同行

红星资本局
2026-08-02 11:38:27
工行、农行、中行、建行、交行、邮储银行,集体发公告

工行、农行、中行、建行、交行、邮储银行,集体发公告

叮当当科技
2026-08-02 13:17:28
人均600万到欠400亿,毁掉“天下第一村”的并非别人,是他们自己

人均600万到欠400亿,毁掉“天下第一村”的并非别人,是他们自己

混沌录
2026-07-31 23:22:05
林青霞在施南生追思会上发言:我和徐克每天24小时轮流地守候

林青霞在施南生追思会上发言:我和徐克每天24小时轮流地守候

韩小娱
2026-08-02 16:44:51
肠子都悔青了!李权哲高铁占座事件后续来了,商务解约、平台限流

肠子都悔青了!李权哲高铁占座事件后续来了,商务解约、平台限流

天天热点见闻
2026-07-31 14:02:32
北大化学才女李天乐,潜伏在顶级药企工作十年,她利用职务之便领取铊,将清华丈夫一点点“熬”死在病房

北大化学才女李天乐,潜伏在顶级药企工作十年,她利用职务之便领取铊,将清华丈夫一点点“熬”死在病房

人生录
2026-07-30 00:05:08
2026-08-02 18:35:00
来自星星的小胖子 incentive-icons
来自星星的小胖子
一个来自星星的小胖子
973文章数 683关注度
往期回顾 全部

科技要闻

零跑月销10万破纪录!比亚迪奇瑞海外卖爆

头条要闻

中央编办批复同意组建新机构 领导班子、主要职责公布

头条要闻

中央编办批复同意组建新机构 领导班子、主要职责公布

体育要闻

1米76的他,为什么是史上最强中卫之一?

娱乐要闻

一天5瓜!“做头发”事件另有玄机?

财经要闻

长鑫科技四万亿市值背后的资本与周期

汽车要闻

历史性里程碑时刻 零跑7月交付达101267台

态度原创

家居
房产
健康
教育
时尚

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

1700亿砸下!信息量巨大!海南甩出又一个超级规划!

中风易复发!谈中风康复与二级预防

教育要闻

日常英语:我只是在游泳

伊姐周六热推:电视剧《御廷谣》;电视剧《九门》......

无障碍浏览 进入关怀版