网易首页 > 网易号 > 正文 申请入驻

看视频、建世界、做实验:清华Asking the World让AI用物理回答问题

0
分享至



AI 能逼真地 “搭出” 一个世界,就能准确预测它如何运转吗?GPT-6 Astra 展现出的场景建模能力令人印象深刻。但几何与外观的逼真还原,并不意味着对物理规律的准确把握。避免物体穿模、借助语义先验估计物理属性,与准确推演物体运动之间,仍有距离。后者还需要进一步识别质量、摩擦系数和阻尼等难以仅凭外观确定的属性与参数。

从还原外观到推演运动,AI 还要跨过一道 “物理关”。清华大学团队提出的Asking the World(ATW)框架,让 AI 根据视频自主构建可运行的物理仿真世界,再通过属性查询、运动仿真和条件干预获取证据,回答物理属性、运动预测及反事实推理等问题。以 Gemini-3-Flash 为基座模型,ATW 在 CLEVRER 和 ContPhy 两项物理推理基准上的整体准确率分别达到80.82%和70.56%,相较于直接根据视频回答,分别提升46.50和28.10个百分点。

作为团队PhysMind 的续作,ATW 继承了 “从视频恢复物理世界,再通过实验开展推理” 的思路,进一步让智能体决定如何建模、开展哪些实验,并将方法拓展至更多材料和物理场景。

这套方法无需额外训练或微调,也提供了更经济的模型选择:相比 Astra,Gemini-3-Flash 这类视觉语言模型的调用成本低得多。ATW 由视觉语言模型理解问题、选择操作,再由物理工具计算运动。

01|从视频恢复可执行的物理世界

ATW 的方法基础来自团队此前的工作 PhysMind。它从视频恢复几何、运动与物理参数,建立能够继续仿真,也允许修改条件的 “可执行世界”。

例如,移走视频中的球体,哪些碰撞仍会发生?原视频没有给出答案。PhysMind 会在重建场景中移除球体,重新运行仿真,依据轨迹和碰撞事件作答。



图 1:PhysMind 通过修改重建场景并运行仿真,为 “移走球体后哪些碰撞仍会发生” 提供判断依据。

要构建这样的世界,PhysMind 先识别物体、恢复形状与运动轨迹,再结合地面和支撑关系校正结果。物体滑行时的减速、碰撞前后的速度变化,则为估计摩擦和质量关系提供线索。

系统利用连续时间解析方法估计摩擦、质量比例和碰撞恢复系数等物理参数,使仿真尽可能符合观测。这一过程称为 “系统辨识”。同一段视频只需建模一次,后续多个问题便可复用。



图 2:PhysMind 整体流程,包括几何与运动恢复、物理参数估计,以及通过查询、仿真和干预获取推理依据。

ATW 沿用这一思路,进一步拓展:面对不同场景和任务,如何让 AI 自主选择合适的建模方式,并决定用什么实验获取答案?

02|从建模到实验,由智能体自主决策

物理属性判断可能仅需读取参数,预测则需要延长仿真。任务不同,需要关注的物体、调用的工具和获取的证据也不同。ATW 把问题需求引入世界构建,并将过程分为“世界建模”与“世界探测”两个阶段。

在 “世界建模” 阶段,智能体选择相关物体和物理模型,调用合适的视觉工具恢复几何与运动,再拟合物理参数。它会检查中间结果,根据反馈调整感知、模型选择或参数估计。

论文中的台球案例展示了这一过程:发现黄色球未被分割后,智能体补充检测,再继续后续步骤。

完成建模后,智能体进入 “世界探测” 阶段。判断物理属性,可以查询拟合参数;预测未来,可以继续仿真;回答反事实问题,则复制场景、施加干预。如果证据不足,它会进一步查询轨迹或开展新的实验。



图 3:ATW 根据任务与反馈选择操作,包括修正物体漏检、移除棕色球和查询碰撞事件。

不同实验基于同一个已校准的世界,分别保留结果供比较。智能体在这一基础上推演不同条件下的运动,并依据轨迹与事件作答。

03|拓展至多种材料与物理场景

ATW 的另一项进展,是从刚体碰撞拓展到更多材料。布料会弯折,流体会流动,还可能与其他物体相互作用,需要相应的物理模型。

为此,团队开发了PolyWorld Engine,一套供智能体使用的物理仿真引擎。

它基于Warp构建,涵盖刚体、软体、布料、绳索、流体及其耦合交互。智能体可以通过统一接口构建场景、读取状态、推进仿真和施加干预。



图 4:ATW 将统一的建模与实验推理方法应用于刚体、流体和布料等场景。

所构建场景仍需与视频观测对齐。ATW 通过搜索参数、比较仿真与观测差异,校准运动与形变。对于可变形物体,还会比较形状、表面或中心线随时间的变化。如果偏差来自物体对应关系或物理模型选择,智能体可在建模阶段修正,再重新拟合。

04|重建世界是否有效,用物理推理任务检验

复现视频中的运动,还不足以说明重建世界是“物理可信”的。团队因此用物理推理任务验证 ATW:让它预测视频结束后的事件、判断改变条件后的结果,检验恢复出的动力学能否帮助 AI 答对问题。

在 CLEVRER 上,以 Gemini-3-Flash 为基础模型,ATW 的总体逐题准确率达到80.82%,比同一模型直接回答提高46.50 个百分点,比 PhysMind 提高8.27 个百分点。

在包含多种材料与连续介质现象的 ContPhy 上,ATW 的总体准确率达到70.56%,比同一模型直接回答提高28.10 个百分点。



表 1:CLEVRER 实验结果,比较直接回答、PhysMind 与 ATW 的表现



表 2:ContPhy 实验结果,覆盖属性判断、预测、反事实和目标驱动问题。

在实拍台球、弹跳球和玩具车三类场景的 60 段视频、60 个问题中,ATW 的准确率达到71.67%,同一模型直接回答的准确率仅为 33.33%。这展现出该方法具备进一步拓展至更广泛真实场景的潜力。



图 5:ATW 在真实场景中的物体分割、运动跟踪与动态重建。

从 PhysMind 的可执行世界出发,ATW 将建模、实验与反馈组织为更自主的推理过程。视觉语言模型负责选择操作,物理工具负责计算运动;重建世界的价值,则通过它能否支持正确的预测与干预推理来检验。

相关工作的主页、代码和论文均已公开,欢迎交流。

Asking the World(ATW):

  • Shenxiang Zeng(曾申翔), Chen Yang(杨晨), Peiyao Chen, Guohui Zhang, Jiansheng Fan(樊健生), Chen Wang(王琛)
  • 主页:https://asking-the-world.github.io/
  • 代码:https://github.com/zengsx23/Asking-the-World
  • 论文:https://arxiv.org/abs/2609.39135

PhysMind:

  • Chen Yang(杨晨), Shenxiang Zeng(曾申翔), Haoyang Zhao, Zhouyuan Xu, Youquan He, Haoyu Li, Mingyi Deng, Jiansheng Fan(樊健生), Chen Wang(王琛)
  • 主页:https://physmind.github.io/
  • 代码:https://github.com/ccyydd/PhysMind
  • 论文:https://arxiv.org/abs/2608.04575

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
炸了俄大桥后,俄军火速反击!基辅停水断电,泽连斯基喊话盟友

炸了俄大桥后,俄军火速反击!基辅停水断电,泽连斯基喊话盟友

观锐器
2026-11-19 13:26:22
体制内酒局饭局突然消退,风气为什么突然变了?

体制内酒局饭局突然消退,风气为什么突然变了?

职场资深秘书
2026-11-19 19:15:27
中国让李在明如愿,他从深圳带走的东西,足够给韩国人一个交代了

中国让李在明如愿,他从深圳带走的东西,足够给韩国人一个交代了

影孖看世界
2026-11-19 17:52:49
才20岁就堕落?国青得分王打个杯赛罚球4中1,球迷:光顾着谈恋爱

才20岁就堕落?国青得分王打个杯赛罚球4中1,球迷:光顾着谈恋爱

弄月公子
2026-11-19 05:35:06
资质平平?16岁C罗儿子在国家队3场全是替补:一共踢19分钟 0进球

资质平平?16岁C罗儿子在国家队3场全是替补:一共踢19分钟 0进球

风过乡
2026-11-19 07:42:40
俄军袭击基辅两座主要桥梁后,基辅拟搭建浮桥维持基本交通

俄军袭击基辅两座主要桥梁后,基辅拟搭建浮桥维持基本交通

阿尔卑斯瞭望
2026-11-19 18:51:09
会打扮的阿姨确实更有魅力

会打扮的阿姨确实更有魅力

美女穿搭分享
2026-11-18 15:42:25
弗里克看走眼!巴萨王牌一心投奔曼联!波切蒂诺狂喜

弗里克看走眼!巴萨王牌一心投奔曼联!波切蒂诺狂喜

澜归序
2026-11-19 09:52:29
借道朝鲜,直达北京!李在明还是不死心,要把中韩高铁串成一条线

借道朝鲜,直达北京!李在明还是不死心,要把中韩高铁串成一条线

磊子讲史
2026-08-14 15:49:13
绝非客套!西班牙主帅公开警惕国足U17:这支亚洲劲旅极度危险

绝非客套!西班牙主帅公开警惕国足U17:这支亚洲劲旅极度危险

林子说事
2026-11-19 14:46:50
白宫发布特朗普访华视频 中国军人名场面再现

白宫发布特朗普访华视频 中国军人名场面再现

看看新闻Knews
2026-11-19 10:51:35
邝港智出庭爆猛料!与蔡天凤、谭方骏睡一张床,形容关系很复杂

邝港智出庭爆猛料!与蔡天凤、谭方骏睡一张床,形容关系很复杂

喜欢历史的阿繁
2026-11-19 16:39:29
关于自慰的8个误区,第3个最离谱

关于自慰的8个误区,第3个最离谱

精彩分享快乐
2026-11-18 21:00:04
曾相亲六次被拒的边防团长祁发宝,在加勒万河谷身负重伤后晋升大校,却再未重返最前线——并非退缩,而是身体条件和职责岗位都已不同

曾相亲六次被拒的边防团长祁发宝,在加勒万河谷身负重伤后晋升大校,却再未重返最前线——并非退缩,而是身体条件和职责岗位都已不同

人生录
2026-10-22 00:05:20
11℃!广州气温降至“1字头”,周末温差变大!好消息是“湿冷”这天结束→

11℃!广州气温降至“1字头”,周末温差变大!好消息是“湿冷”这天结束→

城事特搜
2026-11-19 20:45:29
大批新能源车通病集中爆发,车子开着没毛病,但是电池直接报废

大批新能源车通病集中爆发,车子开着没毛病,但是电池直接报废

云霄纪史观
2026-11-17 03:55:10
明年可能是中华人民共和国全党、全军、全国各族人民,重要的一年

明年可能是中华人民共和国全党、全军、全国各族人民,重要的一年

文刀贰
2026-10-29 22:45:54
广东71-67险胜浙江!只有1人满分,5人及格,3人拉胯,全队13次失误

广东71-67险胜浙江!只有1人满分,5人及格,3人拉胯,全队13次失误

老吴说体育
2026-11-19 22:03:10
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
贵州男子建房挖出一条千斤鲶鱼,发网上炫耀,次日村子被507所封禁

贵州男子建房挖出一条千斤鲶鱼,发网上炫耀,次日村子被507所封禁

第四思维
2025-03-11 14:43:28
2026-11-19 23:27:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14515文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
教育
艺术
时尚
本地

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版