网易首页 > 网易号 > 正文 申请入驻

收购SceniX之后,李飞飞用一套引擎彻底打响物理AI新战役

0
分享至


©潮涌AI编辑部

“大自然用了5亿年才解决空间智能这个超级难题。”李飞飞在多个场合曾发表过类似言论。

而现在,她的“空间智能”之梦正在一步步靠近。

转折点就在于七月中下旬“SceniX加入World Labs”这一消息的公布。

消息发布一个星期之后,李飞飞旗下World Labs发布了一篇技术博客,标题直白得不像一家估值50亿美元的独角兽:《Building Worlds That Train Robots》(建造训练机器人的世界)。

文中披露了一套名为R2S2R(Real-to-sim-to-real,真实到仿真再到真实)的引擎,核心卖点是:机器人可以在零真实世界训练数据的情况下,学会复杂操作任务,然后在真实硬件上持续运行一小时不出错。


7月29日,李飞飞在X上分享R2S2R引擎的早期成果(图源:X)

显而易见,关于SceniX,这不是一次普通的收购。

从2024年创立World Labs到2026年7月,李飞飞用两年多的时间完成了一次战略转向:从让AI生成3D世界让AI在物理世界里行动

SceniX是这家公司的第一块机器人拼图。

从一条推文到一个引擎

李飞飞这条推文只附了一段概念短片,真正的“硬货”是紧随其后的技术博客《Building Worlds That Train Robots》——它堪称一份“图鉴式”的技术宣言。博客中嵌入了大量并排的“真实-仿真”对比视频,直观展示了R2S2R引擎的核心能力。

图例一:双臂装箱的仿真与现实对齐

在名为“Bimanual box packing”的演示中,画面左侧是真实ALOHA机器人,右侧是与之一一对应的仿真环境。两个画面中的机器人执行完全相同的动作序列:双臂协作将一个盒子装入另一个盒子。仿真中的物体重力、接触力反馈、盒子形变与真实世界中的物理表现高度一致。World Labs强调,这不是后期逐帧对齐出来的“摆拍”,而是开环(open-loop)执行——同一组指令,两边同时跑,结果几乎一样。


Bimanual box packing:真实与仿真开环执行同一动作序列(左:真实ALOHA机器人;右:仿真环境)(图源:World Labs官方博客)

图例二:让电缆不再“像面条一样软”

机器人操作电缆是行业公认的硬骨头。电缆会弯、会扭、会卡在缝隙里,传统仿真很难模拟这种弹塑性形变。R2S2R引擎展示了三个层级的电缆操作:

  • YAM机器人插拔电缆:视频展示了电缆在持续接触中的滑动、走线和插拔动作。仿真中的电缆形变轨迹与真实机器人手中的电缆几乎同步。

  • ALOHA弹性电缆插入:一根弹性电缆被捏起、对准、插入小孔,全程伴随形变和持续接触。仿真画面中的电缆回弹幅度、摩擦阻力与真实环境匹配。

  • RB-Y1双手机器人绕冰箱布线:更复杂的双手机器人协作场景,一根可变形电缆被绕过冰箱边缘进行布线。这是工业装配和家庭服务机器人中的典型任务。

这些视频的核心信息是:R2S2R不仅能模拟刚体,还能处理弹塑性体、铰接物、可变形物——这正是SceniX团队的技术长板。


YAM机器人电缆操作的真实-仿真对比:电缆形变轨迹高度同步(左:真实;右:仿真)(图源:World Labs官方博客)

图例三:零真实数据训练的迁移

最具冲击力的一组图例是“Sim-to-Real”迁移结果。

World Labs明确标注:以下所有策略“trained entirely in simulation, with zero real-world training data”(完全在仿真中训练,零真实世界训练数据)。

  • ALOHA双臂装箱:策略直接从对齐的仿真迁移到真实ALOHA机器人,完成双臂协作装箱。同一策略在光照扰动下依然稳定。

  • RB-Y1电源线操作:双手机器人在真实冰箱旁自主布线,持续运行一小时无人工干预。

  • Flexiv试管转移:在严格几何公差下的精确抓取和放置,同样持续一小时无干预。

  • xArm分拣铅笔:从杂乱环境中逐一提取细长的铅笔和马克笔——这是机器人视觉和抓取中的经典难题,因为细长物体重心不稳、容易滑落。

World Labs在博客中特意强调:“The significance is not a single successful sim-to-real demonstration, but the generalization capability across diverse, customer-inspired tasks and challenging physical interactions.”(意义不在于单次成功的仿真到真实迁移,而在于跨多种真实任务和复杂物理交互的泛化能力。)


零真实数据训练的策略直接在真实机器人上运行:xArm从杂乱环境中逐一分拣铅笔(图源:World Labs官方博客)

图例四:仿真预测真实性能

另一组关键图例展示了仿真作为“评估层”的价值。在ALOHA双手立方体交接任务中,World Labs对比了仿真和真实世界中策略的“成功-失败边界”行为:

  • 当策略正常执行时,机器人抓取立方体中心,仿真和真实都成功。

  • 当策略被推到边界(抓取边缘、几乎要失败),仿真和真实中出现了相同的“接近失败但仍完成”的行为。

  • 当策略真正失败时,仿真和真实中的失败模式和结果一致。

这组对比的意义在于:R2S2R的仿真不仅能复现成功,还能复现失败——而这恰恰是训练更好策略所需的关键信息。如果仿真只能给出“谁成功、谁失败”的最终标签,它对策略优化的价值有限;只有当它能精确复现“为什么会失败”——即把策略推向成功或失败的具体条件——才能成为可信赖的训练场。

此外,World Labs还展示了一组跨策略架构、跨训练配置的评估结果:在仿真中表现更好的策略,在真实硬件上也表现更好;仿真保留了策略的相对排名,追踪训练过程中的进步和瓶颈,并揭示了相似的成功和失败空间模式。每个检查点在仿真中评估2000次试验(1000次分布内、1000次分布外),在真实世界中评估100次(50次分布内、50次分布外)——仿真试验规模达到真实试验的20倍,绝大多数筛选工作可以在仿真中低成本完成。


仿真评估预测真实表现:仿真与真实的成功率高度相关,保留策略相对排名,并呈现一致的成功/失败空间分布(图源:World Labs官方博客)

R2S2R引擎的技术逻辑

SceniX的四位联合创始人全部来自仿真研究与3D视觉产业的第一线:

  • CEO William O'Farrell是连续创业者,曾联合创办SpeechWorks、Body Labs(3D人体扫描公司,后被亚马逊收购)等多家企业;

  • 郑昌熙(Changxi Zheng)是哥伦比亚大学计算机科学副教授,深耕计算机图形学与物理仿真;

  • 李昀烛(Yunzhu Li)是哥伦比亚大学助理教授;

  • Sonny Hu(Xiaochen Hu)曾在Body Labs、亚马逊等公司从事图像生成与3D视觉研发。


SceniX联合创始人:李昀烛、郑昌熙、Sonny Hu(图源:SceniX官网)

这支团队的核心产品是一套混合仿真系统,覆盖数据生成、策略创建、训练评估,以及持续预测监控与边缘案例发现。团队的公开研究成果包括BoxTwin(从视频中学习弹塑性铰接物体的完整动力学,2026年7月公开)和PhysTwin(从稀疏视频重建可变形物体的可交互数字孪生,发表于ICCV 2025)——分别对应“铰接物体”与“可变形软体”这两类传统仿真最难处理的对象。

借助收购SceniX仿真之力,World Labs发布了全新的机器人策略训练与评估引擎R2S2R

World Labs在博客中将R2S2R定义为“a scalable engine for training and evaluating robot policies”(可规模化的机器人策略训练与评估引擎),其运作分为两个部分:

Real-to-Sim(真实到仿真)将物理机器人、传感器、环境、物体和交互转化为仿真,保留任务相关的观测和动力学特性。系统从视频驱动的重建与弹塑性建模出发,结合生成式世界模型,输出高保真视觉外观、精确几何结构和真实物理动力学。真实环境中的物体形状、重量、摩擦力往往不确定,相机和机器人规格也有偏差,电缆和包装材料的形变方式难以用简单模型捕捉——R2S2R因此根据不同任务的关键性,组合不同的表征和建模技术。

Sim-to-Real(仿真到真实)在仿真世界中训练和测试机器人策略,并判断仿真中的表现能否预测真实硬件上的表现。关键突破在于闭环:这是首次有机器人学习策略完全在仿真中训练后,能直接迁移到多种真实机器人和任务上,同时仿真评估能够预测策略在硬件上的相对表现和失败区域。

传统机器人开发中,策略评估严重依赖物理硬件,迭代速度比大模型开发慢几个数量级。R2S2R引擎允许团队在数千种受控条件下主动搜索失败点,在真实测试前筛选掉大部分不理想的检查点,将昂贵的硬件评估留给最有希望的策略。


R2S2R引擎:一个真实任务被重建为对齐的仿真世界,再系统性扩展出成千上万种可控变体(图源:World Labs官方博客)

“空间智能”捍卫50亿美元估值?

收购SceniX之前,World Labs的公开叙事是一家“世界模型”公司。2025年11月推出的Marble平台能够从文本、图像、视频生成可探索、可编辑的3D世界;2026年1月上线的World API将这一能力封装为可编程接口。


Marble根据单张图片生成的可探索3D世界(图源:World Labs官方博客)

收购SceniX补齐业务后,World Labs的空间智能全链路布局正式闭环Marble实现空间感知,SceniX负责机器人仿真行动,搭配扩招的SLAM、3D重建团队,打通“虚拟世界生成 — 机器人仿真训练 — 真实场景落地”完整流程。

即便如此,李飞飞和World Labs也无法高枕无忧。

Marble能否商用工业底座、稳定创收;SceniX仿真技术能否缩短机器人落地周期,成为行业通用标准……这些问题都需要一一去落定。

坐拥50亿美元估值World Labs要想最终在资本市场长期站稳,不只能停留在“空间智能”的市场鼓吹之中,关于“物理世界”的开矿,有太多人拿着号码牌。

*参考信息:

• World Labs官方博客《Building Worlds That Train Robots》(2026年7月28日)

• World Labs官方博客《World Labs Acquires SceniX》(2026年7月21日)

• 李飞飞X平台推文(2026年7月21日、7月29日)

• a16z对话视频:Fei-Fei Li, Yunzhu Li, Martin Casado(2026年7月28日)

• 彭博社:World Labs 10亿美元融资报道(2026年2月)

• 智东西《AI教父投了AI教母!李飞飞新创企结束隐身,首次披漏创始团队与投资人》

• 钛媒体《李飞飞买下SceniX,空间智能进入动手时代》

• TechCrunch:AMI Labs 10.3亿美元种子轮融资报道(2026年3月)



=▹

联系我们 CONTACT US!

请添加微信xingminghui15

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
052D近距离遭遇美国无人艇,美媒:中华神盾驱逐舰防线被突破

052D近距离遭遇美国无人艇,美媒:中华神盾驱逐舰防线被突破

巅峰高地
2026-07-30 18:58:49
为什么北京地铁突然不挤了?真正消失的,不只是人,细思非常扎心

为什么北京地铁突然不挤了?真正消失的,不只是人,细思非常扎心

阿莱美食汇
2026-07-31 02:02:47
艾伦附体?墨菲打丢超分红球,双赛点局放生吴宜泽,错失32万奖金

艾伦附体?墨菲打丢超分红球,双赛点局放生吴宜泽,错失32万奖金

球场没跑道
2026-07-31 00:30:23
27队曾追逐詹姆斯 快艇开出1年超2000万合同

27队曾追逐詹姆斯 快艇开出1年超2000万合同

体坛周报
2026-07-30 07:59:08
正式确定!CBA重要签约完成,2米11大中锋加盟山西男篮

正式确定!CBA重要签约完成,2米11大中锋加盟山西男篮

体坛瞎白话
2026-07-30 15:25:12
NBA多位名记爆料:勇士将为库里带来超级明星队友!

NBA多位名记爆料:勇士将为库里带来超级明星队友!

夜白侃球
2026-07-30 18:15:31
善恶有报!背刺中国、出卖“孟晚舟”的真凶挖出,下场是大快人心

善恶有报!背刺中国、出卖“孟晚舟”的真凶挖出,下场是大快人心

乐天闲聊
2026-07-30 18:01:52
法庭上杀人犯当场质问法官:“我明明杀了四个女人,你们为什么说我杀了3个?”

法庭上杀人犯当场质问法官:“我明明杀了四个女人,你们为什么说我杀了3个?”

落纸生花创意手工
2026-07-19 12:06:31
油价大降!一夜回落,7月29日全国92,95汽油“预涨减至685元/吨”,涨幅“2连降”,本周五(2天后)调价,顺路加油!

油价大降!一夜回落,7月29日全国92,95汽油“预涨减至685元/吨”,涨幅“2连降”,本周五(2天后)调价,顺路加油!

猪友巴巴
2026-07-29 09:02:11
借兵3万,扩军至242万,俄罗斯能赢吗?

借兵3万,扩军至242万,俄罗斯能赢吗?

山河路口
2026-07-29 19:52:21
北京一公园正式对外开放!

北京一公园正式对外开放!

花小猫的美食日常
2026-07-31 00:19:37
山东一县人民医院原院长被查

山东一县人民医院原院长被查

医脉圈
2026-07-30 22:05:09
阿森纳高层最后还是拒了维尼修斯。不是掏不起1.5亿欧的转会费

阿森纳高层最后还是拒了维尼修斯。不是掏不起1.5亿欧的转会费

岁月有情1314
2026-07-31 01:22:45
24小时卖命、浴缸陪睡、洗内裤接口水,多位助理"反水"曝特殊服务

24小时卖命、浴缸陪睡、洗内裤接口水,多位助理"反水"曝特殊服务

北纬的咖啡豆
2026-07-29 16:35:02
7月29日:2026年养老金调整通知公布,两大没想到

7月29日:2026年养老金调整通知公布,两大没想到

猪猪爱影视
2026-07-29 21:13:54
摩根大通:韩国杠杆ETF平仓已完成、对冲基金去杠杆近九成,KOSPI远期市盈率仅5倍,市场配置价值显现

摩根大通:韩国杠杆ETF平仓已完成、对冲基金去杠杆近九成,KOSPI远期市盈率仅5倍,市场配置价值显现

投资者内参
2026-07-30 15:52:29
乔治·克鲁尼撤离法国住所,致信市长:“我们不知道美丽的家能否挺过这可怕时刻”

乔治·克鲁尼撤离法国住所,致信市长:“我们不知道美丽的家能否挺过这可怕时刻”

我是一个养虾人
2026-07-30 15:04:24
几乎都是假货!利润高达2400%,可为何消费者还争相购买?

几乎都是假货!利润高达2400%,可为何消费者还争相购买?

小熊侃史
2026-04-09 09:36:50
A股:大家做好准备!明天(7月31日)的市场会这样走

A股:大家做好准备!明天(7月31日)的市场会这样走

风风顺
2026-07-31 03:30:03
上海一女警意外撞脸女明星邱淑贞!网友:神了,比亲女儿还像!本人回应

上海一女警意外撞脸女明星邱淑贞!网友:神了,比亲女儿还像!本人回应

上观新闻
2026-07-30 15:05:39
2026-07-31 05:52:49
潮涌AI incentive-icons
潮涌AI
建构AI产业的先进性。
44文章数 1关注度
往期回顾 全部

科技要闻

小米澎程N90 Max预售价29.99万

头条要闻

陕西"公公强奸儿媳案"维持原判 女方精神鉴定结果公布

头条要闻

陕西"公公强奸儿媳案"维持原判 女方精神鉴定结果公布

体育要闻

曝皇马将签罗德里!转会费6000万签约4年

娱乐要闻

周星驰用态度打破快餐式宣发

财经要闻

中共中央政治局:提升资本市场韧性和信心

汽车要闻

FREELANDER神行者8下线 8月10日开启预售/海外版同步推进

态度原创

亲子
数码
本地
手机
公开课

亲子要闻

儿童白血病患者越来越多,医生警告:家里这几种东西,一定要注意

数码要闻

国家广电总局联合工信部召开一体化电视全国推广工作部署会

本地新闻

神仙也“蓉”漂,哪吒与八仙,皆是成都出品!

手机要闻

三星高管暗示Galaxy S26 FE手机将至,有望亮相2026年IFA展会

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版