网易首页 > 网易号 > 正文 申请入驻

伯克利&Meta面向具身智能的世界模型:让AI通过全身动作看见未来

0
分享至

本文基于 Yutong Bai、Danny Tran、Amir Bar、Yann LeCun、Trevor Darrell 和 Jitendra Malik 等人的研究工作。

  • 论文标题:Whole-Body Conditioned Egocentric Video Prediction
  • 论文地址:https://arxiv.org/pdf/2506.21552
  • 项目地址:https://dannytran123.github.io/PEVA/
  • 参考阅读链接:https://x.com/YutongBAI1002/status/1938442251866411281

几十年来,人工智能领域一直在思考一个看似简单但非常根本的问题:

如果一个智能体要在真实世界中行动、规划,并且和环境互动,它需要一个怎样的「世界模型」?

在很多早期研究中,世界模型就是一个预测引擎:只要给它一个抽象的控制指令,比如「向前走一米」或者「向左转 30 度」,它就能模拟出未来的图像。这类方式在实验室环境里已经发挥过很大作用,但一旦放到真正复杂的人类生活环境,就常常捉襟见肘。

毕竟,人并不是一个漂浮在空中的摄像头。人有四肢、有关节、有骨骼,也有着非常具体的物理限制:

  • 关节的活动范围
  • 躯干的稳定性和平衡
  • 肌肉力量的极限

这些物理约束决定了:并不是所有动作都能被执行,很多计划只能在可达、可平衡、可承受的范围内完成。而正是这样的物理性,才塑造了人类真实的动作方式,也塑造了我们能够看到的和不能看到的信息。

举一些例子:

  • 你想看到身后的情况,就必须转头或者转身
  • 你想看清桌下的东西,就必须弯腰蹲下
  • 你想拿到高处的杯子,就必须抬起手臂并伸展身体

这些都不是凭空的,而是被身体结构和运动学约束的行为。所以如果 AI 也要像人一样预测未来,就得学会:预测自己的身体能做到什么动作,以及由此产生的视觉后果。

为什么说视觉就是规划的一部分?

从心理学、神经科学到行为学,人们早就发现一个规律:在执行动作之前,人会先预演接下来会看到什么。

例如:

  • 走向水杯时,脑子里会提前预测水杯什么时候出现
  • 转过一个拐角前,会猜测即将出现的景象
  • 伸手的时候,会想象手臂何时进入视野

这种「预演」能力让人类能及时修正动作并避免失误。也就是说,我们并不是光靠看到的画面做出决策,而是一直在用大脑里的「想象」,预测动作的结果。

如果未来的 AI 想在真实环境中做到和人一样自然地计划,就需要拥有同样的预测机制:「我如果这样动,接下来会看到什么?」

世界模型的老思路和新思路

世界模型并不新鲜,从 1943 年 Craik 提出「小规模大脑模型」的概念开始,到 Kalman 滤波器、LQR 等控制理论的出现,再到近年用深度学习做视觉预测,大家都在试图回答:「我采取一个动作,未来会怎样?」

但是这些方法往往只考虑了低维度的控制:像「前进」、「转向」这类参数。相比人类的全身动作,它们显得非常简陋。因为人类的动作:

  • 有几十个自由度的关节
  • 有清晰的分层控制结构
  • 动作对视觉的结果会随着环境不断改变

如果一个世界模型不能考虑身体动作如何塑造视觉信息,它很难在现实世界里生存下来。

PEVA 的小尝试

基于这样的背景,来自加州大学伯克利分校、Meta的研究者们提出了一个看起来简单但非常自然的问题:「如果我真的做了一个完整的人体动作,那接下来从我的眼睛会看到什么?」

相比传统模型只用「速度 + 方向」做预测,PEVA 把整个人的 3D 姿态(包括关节位置和旋转)一并喂进模型,和历史的视频帧一起输入,从而让 AI 学会:身体的动作,会如何重新组织我们能看到的世界。

举一些例子:

  • 手臂抬起 → 遮挡部分物体,同时也可能露出新的区域
  • 蹲下 → 视角高度变化,地面特征出现
  • 转头 → 原本背后的信息重新进入可见范围

这就是 PEVA 的核心:预测未来,不只是预测像素,而是预测身体驱动下的视觉后果。

PEVA 的功能

PEVA 目前能做的事情包括:

  • 给定未来的 3D 全身动作,预测连续的第一视角视频。
  • 分解复杂行为成「原子动作」,例如只控制左手或者头部旋转。

不仅做单次预测,还能生成最长 16 秒的视觉流。

支持「反事实」推断:如果做另一个动作,会看到什么?

在多条动作序列之间做规划,通过视觉相似度挑出更优方案。

在多样化的日常环境中学习,避免过拟合在简单场景。

一句话总结,PEVA 就像一个「身体驱动的可视化模拟器」,让 AI 获得更接近人类的想象方式。

技术细节

PEVA 的技术很简单直接,主要包括:

  • 全身动作输入(48 维度的三维姿态)
  • 条件扩散模型+ Transformer,兼顾视觉生成和时间逻辑
  • 在真实同步的视频 + 动作(Nymeria 数据集)上训练
  • 用时间跳跃策略预测到 16 秒
  • 做一个可行的多方案规划:在若干个动作轨迹中,用视觉相似度挑一个最可能达成目标的方案。

研究者在文章中也用大篇幅讨论了局限和展望:例如只做了单臂或部分身体的规划,目标意图还比较粗糙,没法像人那样用语言描述目标,这些都值得后续慢慢补齐。

能力小结

从评估看,PEVA 在几个方面算是一个可行的探索:

  • 短期视觉预测,与动作对齐度高。
  • 长期可达 16 秒的视频,仍保持较好连贯性。
  • 原子动作的控制能力,比如只预测手部动作、只预测转身。
  • 规划:尝试多动作模拟,挑选最接近目标的一条。

这些能力至少证明了一个方向:用身体驱动未来的视觉预测,是走向具身智能的一种合理切入点。

展望

后续还值得探索的方向包括:

  • 语言目标和多模态输入
  • 真实交互中的闭环控制
  • 对更复杂任务的可解释规划

当 AI 试着像人一样行动时,也许它同样需要先学会:如果我这么动,接下来会看到什么。

结语

或许可以这样说:「人类之所以能看见未来,是因为身体在动,视觉随之更新。」

PEVA 只是一个很小的尝试,但希望为未来可解释、可信任的具身智能,提供一点点启发。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
罗伯特·帕丁森成为新007,网友吐槽:土豆都比他性感!

罗伯特·帕丁森成为新007,网友吐槽:土豆都比他性感!

桃桃淘电影
2026-11-17 09:37:43
奥特曼首发声:我共情,我也被解雇过,但没有黄仁勋行业也没啥事,曝董事会不考虑回归选项

奥特曼首发声:我共情,我也被解雇过,但没有黄仁勋行业也没啥事,曝董事会不考虑回归选项

起点财经
2026-11-17 13:11:55
0-5让荷兰震惊!哈维暴怒质问全队 门神直言羞愧 队长痛批队友:垃圾

0-5让荷兰震惊!哈维暴怒质问全队 门神直言羞愧 队长痛批队友:垃圾

我爱英超
2026-11-17 07:45:15
韦唯和小儿子韦紫湦出发前往新疆徒步旅行时,在机场拍下的合照

韦唯和小儿子韦紫湦出发前往新疆徒步旅行时,在机场拍下的合照

娱你同欢
2026-11-16 19:53:38
小米辟谣汽车召回短信

小米辟谣汽车召回短信

界面新闻
2026-11-17 11:49:08
美国国会变天,泽连斯基有恃无恐,主动爆料机密,特朗普女婿愤怒

美国国会变天,泽连斯基有恃无恐,主动爆料机密,特朗普女婿愤怒

影孖看世界
2026-11-16 18:18:53
无耻!浙江一大学学生自称向保洁索赔当副业,还让网友夸她“小天才”

无耻!浙江一大学学生自称向保洁索赔当副业,还让网友夸她“小天才”

Mr王的饭后茶
2026-11-17 09:55:00
弗里克哭晕!巴萨头号巨星惨遭重创!诺坎普核心恐彻底崩盘

弗里克哭晕!巴萨头号巨星惨遭重创!诺坎普核心恐彻底崩盘

奶盖熊本熊
2026-11-17 08:45:20
iPhone Duo人脸解锁引爆热搜!网友:苹果祖宗之法变了

iPhone Duo人脸解锁引爆热搜!网友:苹果祖宗之法变了

快科技
2026-11-17 10:06:33
泽连斯基:欧洲谈判团队首次“全阵容”与乌美磋商

泽连斯基:欧洲谈判团队首次“全阵容”与乌美磋商

界面新闻
2026-11-17 07:11:52
Lisa赌城大尺度跳舞驻唱,门票三天收入500万,她在脱亚入欧美?

Lisa赌城大尺度跳舞驻唱,门票三天收入500万,她在脱亚入欧美?

影视口碑榜
2026-11-17 11:59:13
车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

触摸史迹
2026-11-17 09:20:45
新规落地!医保大调整,2027年1月起执行,退休人员请相互转告

新规落地!医保大调整,2027年1月起执行,退休人员请相互转告

猫叔东山再起
2026-11-17 10:20:09
中国55万粉网红教日本小学生用中文喊“我是傻子”,视频在外网疯传引发热议!

中国55万粉网红教日本小学生用中文喊“我是傻子”,视频在外网疯传引发热议!

东京新青年
2026-11-16 19:04:49
终于来了!苹果刚刚发布 iOS 27.3 新系统更新

终于来了!苹果刚刚发布 iOS 27.3 新系统更新

XCiOS俱乐部
2026-11-17 04:08:58
前WCBA外援坎贝奇:我卖成人内容一周的收入超过打6年WNBA

前WCBA外援坎贝奇:我卖成人内容一周的收入超过打6年WNBA

懂球帝
2026-11-17 08:51:11
输1-4活该?葡主帅回击C罗母亲:理解她开炮!我帮她儿子在沙特夺冠

输1-4活该?葡主帅回击C罗母亲:理解她开炮!我帮她儿子在沙特夺冠

我爱英超
2026-11-17 06:56:54
人形机器人概念震荡下挫 宇树科技跌超10%

人形机器人概念震荡下挫 宇树科技跌超10%

每日经济新闻
2026-11-17 10:20:06
享年94岁!巴西传奇球星去世,生前为最年长世界杯冠军成员

享年94岁!巴西传奇球星去世,生前为最年长世界杯冠军成员

全景体育V
2026-11-16 20:43:21
黄仁勋要杀回来了? 硅谷和华盛顿正面交锋

黄仁勋要杀回来了? 硅谷和华盛顿正面交锋

看看新闻Knews
2026-11-16 16:20:31
2026-11-17 13:44:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14491文章数 142758关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:中俄美三国元首将举行面对面会晤 系历史上首次

头条要闻

媒体:中俄美三国元首将举行面对面会晤 系历史上首次

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

最新经济数据,释放关键信号

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

家居
本地
亲子
时尚
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

4岁女儿嗓子有点发炎,又在家不上学了,可把她给高兴坏了

老钱风、静奢风失宠了?“繁荣主义”穿搭突然爆火

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版