一套尚未建成的“经验网络”
WAIC期间,智元和觅蜂科技举办了一场名为“迎接物理AI智能涌现”的论坛。智元合伙人、觅蜂科技董事长兼CEO姚卯青,苏航,Physical Intelligence负责预训练的任至意,佐治亚理工学院助理教授徐丹飞,Genesis联合创始人王尊玄、Dyna Robotics联合创始人马也骋先后分享,腾讯Robotics X的张正友等参加圆桌讨论,Sunday Robotics联合创始人赵子豪则在线上加入。
![]()
有意思的是,五个人所代表的路线,覆盖了当前物理AI几种有代表性的选择。
他们并没有给出同一个技术终局。
但当五条路线在同一场论坛上铺开,一个共同问题反而变得更加清楚:物理世界的经验,还无法像互联网知识一样,被低成本地生产、统一地理解,并在不同机器人之间反复复用。
这不是简单的“机器人数据还不够多”。
一段第一人称视频、一条真机轨迹、一次仿真交互和一段失败后的人工接管,记录的是不同层次的物理信息;不同机械臂、灵巧手和移动机器人产生的数据,也不能天然进入同一个模型。
物理AI仍需要一边训练模型,一边建设自己的“经验网络”。这也是五条路线看似向不同方向延伸,最终却仍撞上的同一面墙。
![]()
物理经验无法被直接复制
姚卯青在开场中区分了数字AI与物理AI。
语言、数学和代码,是人类对现实世界进行抽象后留下的知识。数字AI可以从互联网中学习这些内容,在数字环境内完成理解、推理、输出和评价。
物理AI则必须进一步完成感知、决策、行动和环境反馈。机器人不仅要知道面前是什么、接下来应该做什么,还要真正执行动作,观察世界发生了怎样的变化,再根据结果调整策略。
![]()
姚卯青将这种变化概括为:从“知识的规模化”,走向“真实世界交互经验的规模化”。
问题在于,物理经验无法像网页一样被直接爬取。
一条真机轨迹背后,需要机器人本体、场地、采集设备和人员配合。不同机器人又拥有不同的自由度、视角和控制方式,一台机器人学会的动作,未必能直接迁移到另一台机器人。
与此同时,真实世界的试错也更加昂贵。语言模型输出一次错误答案,通常只是损失一次推理成本;机器人执行错误动作,却可能打翻物体、损坏硬件,甚至带来安全风险。
姚卯青将这些障碍概括为数据、表征和闭环三类问题:真实交互数据稀缺且昂贵,跨任务、跨场景和跨本体的统一物理表征尚未形成,真实世界里的试错反馈又慢、代价又高。
三者并不是彼此独立的。
数据问题决定经验能否被生产,表征问题决定不同经验能否进入同一个模型,闭环问题则决定机器人在真实场景中新遇到的问题,能否成为下一轮训练的材料。
也正因此,扩大数据来源只是第一步。来源越多,如何统一利用反而越困难。
![]()
机不够,多源数据又难以互通
面对昂贵的真机数据,一个直接思路是扩大经验来源。
Physical Intelligence的目标,是训练一个能够控制不同机器人、完成不同物理任务的通用策略模型。任至意介绍,公司会将机器人部署在自建环境和不同家庭环境中,扩大跨任务、跨场景和跨本体的数据覆盖。
这条路线需要的不只是更多轨迹,也包括更高的数据多样性。模型必须见过不同机器人、物体、房间和任务,才可能将一类机器人学到的能力迁移到另一类本体上。
徐丹飞则尝试直接向人类借数据。
人每天都会完成拿取、整理、组装和开关抽屉等大量物理任务。如果通过第一人称相机、手部追踪等设备记录这些过程,再建立人类动作与机器人动作之间的对应关系,人类行为就可能成为机器人训练数据。
其背后的出发点是,人类本身也可以被看作一种特殊的“本体”。人在相同时间内通常能完成更多、更自然的操作,也更容易进入不同家庭和开放环境。
但人的身体并不是机械臂。人类拥有不同的视角、关节结构和动作空间,人类操作也没有直接对应机器人的控制信号,因此还需要解决人机之间的空间、视角和动作对齐。
苏航进一步强调,不同来源的数据都有各自的作用。真机数据可以提供准确的动作和环境反馈,第一人称视频扩大任务和场景覆盖,仿真则能够快速生成更多状态,但很难依靠某一种数据解决全部问题。
真正困难的是,怎样让视频、真机、UMI等不同视角、不同控制形式的数据,进入同一套表示空间。否则,数据来源越多,模型面对的可能只是更多彼此隔离的数据孤岛。
Genesis强调的也是类似的系统问题。
王尊玄将数据采集设备、机器人硬件、仿真环境、模型训练和评测放在同一条管线中考虑。团队尝试使用接近人手尺度的机器人手和数据手套,记录人在自然工作状态下的操作过程,让正常劳动本身成为数据采集。
仿真则不只用于批量生成数据,也可以通过改变物体、环境和任务条件,定位模型在哪些状态下失败,再回到真实机器人上验证。
![]()
Sunday Robotics则将数据路线分成短期和长期两个阶段。
赵子豪认为,短期内,UMI、Ego等低成本或无本体采集方式,能够进入更多真实环境,在不大规模部署机器人的情况下扩大预训练数据。
但长期真正重要的,仍然是机器人进入不同家庭后产生的部署回流数据。家庭中的空间布局、物品和生活习惯高度非标准化,只有真实部署,才能持续暴露模型此前没有见过的问题。
如果说徐丹飞关注的是如何将人类行为转化为机器人预训练数据,赵子豪进一步回答的则是:这些低成本数据可以帮助模型起步,但决定机器人能否持续进化的,仍然是部署后的经验回流。
从真机到人类视频,从数据手套到仿真和家庭部署,行业正在不断扩大物理经验的来源。但这些经验能否共同训练一个模型,仍然取决于是否能够建立跨数据、跨任务和跨本体的统一表征。
![]()
机器人搞砸了,也要留下经验
当数据来源变得复杂,另一个问题随之出现:并非所有数据都具有相同价值。
任至意介绍,Physical Intelligence在采集一项完整任务后,会进一步拆分其中的子任务,标注每个阶段的语义,并对整条轨迹和局部步骤进行质量评价。
模型不能只看到机器人最终是否完成任务,还需要理解这条数据来自什么环境、使用什么本体、此前发生了什么,以及每一步执行得好不好。
按照任至意的说法,“只有让模型理解不同数据的质量”,才能利用模型不擅长的案例进一步优化。
这也解释了为什么Physical Intelligence会专门保留机器人犯错的过程。
在制作咖啡等任务中,团队不仅收集流畅完成任务的示范,也保留洒出液体、弄掉物体等失败过程。当机器人卡住时,工作人员会介入,帮助其继续完成任务,再将这段“失败—接管—恢复”的轨迹重新送回训练系统。
过去,机器人数据更接近一套标准答案:操作员完成正确动作,机器人学习模仿。现在,错误状态、人工干预和恢复过程也开始成为训练材料。
如果说Physical Intelligence解决的是“模型如何判断一条数据值不值得学”,Dyna Robotics进一步面对的,则是那些只有机器人真正上岗后才会出现的失败。
马也骋认为,实验室关注机器人能否完成任务,客户则更关心它能否持续工作。机器人即使拥有很高的单次成功率,只要一次失败后便停机等待人工,就很难真正创造商业价值。
因此,Dyna会专门设计和采集recovery data,让模型学习如何识别自己已经进入错误状态,以及怎样重新回到正常任务流程。
这意味着,物理AI的数据竞争正在发生变化。
规模依然重要,但比数据数量更进一步的问题是:模型能否知道哪些是高质量示范,哪些暴露了能力边界,哪些记录了从失败中恢复的方法。
机器人需要学习的不只是“怎么做”,还有“什么经验值得学”,以及进入错误状态后怎样重新开始。
![]()
真正的闭环,从机器人上岗以后开始
如果失败和人工接管都可以重新成为训练数据,那么部署就不再只是模型训练完成后的最后一步。
机器人进入真实场景后,会遇到实验室无法穷举的物体、光照、位置和异常状态。这些长尾问题暴露模型边界,也构成下一轮训练中最有针对性的数据。
Physical Intelligence通过真实任务中的错误和人工介入形成数据飞轮;Dyna从客户现场收集异常状态和恢复数据;Genesis利用真实数据校准仿真,再让模型在仿真中经历更多变化;Sunday Robotics则希望机器人进入不同家庭后,将各自遇到的新物品、新任务和失败状态反馈给同一个基础模型。
智元和觅蜂试图把这种闭环扩大到机器人集群。
姚卯青介绍,智元已在嘉兴部署超过100台机器人,并建设支持百台以上机器人接入的分布式在线学习系统。机器人在物理世界中执行任务,将经验和人类干预信息回传云端,模型更新后再重新下发到机器人集群。
他还披露,在一次持续六天、每天超过10小时的直播验证中,一批机器人累计完成接近6.5万次操作,公司公布的整体成功率为99.99%。
这项结果仍需结合任务难度、失败口径和人工介入情况理解,但其试图验证的已经不只是机器人“能不能完成一次”,而是模型、数据和评测能否在长时间运行中构成闭环。
圆桌上关于VLA、世界模型和Agent系统的讨论,也可以放进这套闭环理解。
任至意认为,VLA与世界模型并不冲突。模型对未来状态的预测,可以帮助其理解当前动作可能带来的后果,为动作决策提供信息。
张正友则提出,高层认知、感知行动和肢体控制可以由不同模块分层运行,但各层信息仍需要相互传递,也可以进行整体优化。
无论最终采用端到端模型还是分层系统,核心问题都相同:机器人能否把感知、行动、结果和反馈连接起来,并在下一次遇到类似状态时表现得更好。
这场论坛没有证明物理AI已经接近某个确定的“智能涌现”时刻,却让涌现之前需要补齐的系统变得更加清楚:扩大经验来源,将不同身体、任务和场景的数据转化为模型能够共同理解的表征,再让真实部署中的成功、失败和人工接管持续返回训练。
大模型开始训练时,互联网已经存在。物理AI却需要一边训练模型,一边建设自己的经验网络。
五条路线的选择不同,但最终竞争的,都是谁能更快让一台机器人经历过的事情,变成更多机器人可以复用的能力。
![]()
![]()
免责声明:本内容由Alpha说编辑团队基于公开信息理,代表编辑团队观点,不构成任何投资建议。如需引用,请注明出处。
Alpha说编辑团队
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.