网易首页 > 网易号 > 正文 申请入驻

几亿美金砸出来的硅谷大模型,被一台相机干翻了!

0
分享至


新智元报道


数亿美金,竟输给了一台相机?

一边,是硅谷明星机器人初创Physical Intelligence,用数亿美金算力砸出来的明星大模型π0.5。另一边,是一家中国公司,加一台随手能买到的运动相机。

7月15日,银河通用发布WAM-TTT,全球首个面向具身智能大模型的测试时后训练框架。

随框架一起公布的跨环境实测里,双方正式pk,结果令人意外——

光照一变、物体一换、背景一乱,π0.5的平均成功率直接砍半,而WAM-TTT泛化保持率为76%!


想象机器人进家的第一天:你家的马克杯它没见过,厨房灯也偏暖,台面还比它训练时高5厘米。看起来只是这一点细微的差别,但足以让一台千锤百炼的机器人当场卡壳。

对比更鲜明的,是成本。

π0.5落地的成本,高得不可思议:要让机器人走进1000万个家庭,难道得先派1000万个工程师住进去,手把手教它认马克杯?

显然,这根本无法落地。

而WAM-TTT则不同,它可以随时适应一个新场景:只要有人戴上远动相机、或举起手机,随手拍一段自己干活的第一视角视频,机器人看完,就能直接上岗!

不用遥操设备,不用动作标注,也不用停工数天重训。

从此,具身智能从成本极高的遥操式学习,进化为通过视频,一看就能学会。

这个颠覆性的框架,让银河通用让全世界宣告:机器人大规模进入家庭与工厂的商业化临界点,已经真正到来!

训练时精通,部署时不通

在AI领域,Scaling Law通过海量参数与数据驱动能力跃升,已被反复验证。但在具身智能中,这条法则到了后训练阶段,却要直面更复杂的现实考验。

后训练的核心任务,是把模型在模拟试验场里习得的技能,迁移到真实的部署环境中。然而,光照的明暗、物体的纹理与尺寸、桌面高出或低了几厘米……

任何微小的现实差异,都可能让性能显著下降。原因并非技能未被掌握,而是所掌握的技能与特定场景特征过度绑定,难以适应现实场景的无穷变化。

这便是当下具身智能最核心的痛点:训练时精通,部署时不通

模型学好了技能,却认不出红色的塑料箱,适应不了偏暗的灯光,也跨不过那高出的5厘米。明明会抓,就是抓不到没见过的箱子。

跨环境实测中,以人类视频为上下文的基线方法,性能保留率仅剩14.7%,几乎等于归零;而WAM-TTT则把这一数字拉到了75.6%,压倒性胜出。


传统解法笨拙且昂贵:派工程师扛着VR头显和遥控臂,重新录制轨迹,再花数天重训模型。如此高成本、长周期的流程,机器人最后的泛化性却不尽如人意,成为判机器人规模化部署的瓶颈。

7月15日发布的WAM-TTT,正是银河星脑(AstraBrain)体系下,专门面向规模化部署推出的后训练技术,也是团队对世界-动作模型(WAM)的一次颠覆性创造。


它不需要复杂昂贵的数据采集,不需要动辄数十小时的遥操训练,不需要标注数据。

三大核心突破:

改写具身智能的部署账本

传统的大模型往往只强调「预训练」有多强,却对部署阶段的灾难性表现避而不谈。

而WAM-TTT之所以能被称为新范式,是因为它在测试部署阶段(Test-Time),实现了三大史无前例的底层突破:

数据采集:部署只需人类数据

过去,你要让机器人适应新环境,就必须喂给它「机器人轨迹数据」。这就要求专业操作员像控制提线木偶一样操控机器人,记录下每一个关节的角度、扭矩,成本极其高昂。

而有了WAM-TTT,秘密武器变成了一台普通的运动相机。


在部署阶段,客户只需要让人类走到新的工作台前,随手用相机录制一段人类自己完成该任务的第一视角视频即可。WAM-TTT的自监督视频预测技术,直接从这段人类玩耍的视频中提取特征。


100个新场景,不再需要100套昂贵的遥操设备和数周的停工采集,只需要100段几乎免费的视频。

另外,在控制总数据量恒定的消融实验中,银河通用给出了一个让所有从业者振奋的结论——

在相同的预算下,「100条机器人轨迹 + 100条廉价的人类视频」实现了74.1%的成功率,这与纯用「200条极其昂贵的机器人轨迹数据」(73.7%)性能完全持平!


这意味着,人类视频可以1:1等效替代昂贵的机器人遥操数据。

WAM-TTT用最干净、最直接的像素流,实现了真正的零标注成本。

数据类型:部署零动作标注

目前市面上即便有一些利用人类视频数据的模型,往往也需要痛苦的人工标注:标出视频里人类手部的三维关键点(甚至需要生成复杂的MANO手部网格),然后再把人的动作重定向到机械臂上。这不仅费时费力,还会累计误差。

而WAM-TTT对数据的要求低到了极致:纯视频输入,不用任何标签!

它将人类视频视为「无动作」(Action-free)的数据。机器人不需要人类告诉它关节的具体坐标,它只需要通过预测视频的下一帧(自监督视频端到端预测),自己去「悟」出任务的动态本质。


消融实验证明,强行加入人类手部动作的伪标签,反而会干扰模型对底层物理规律的理解。


模型层面:预训练参数不变,专用参数快学习

这是WAM-TTT在架构上惊艳的一笔。

面对新环境,传统的监督型微调(SFT)或上下文学习(ICL)方法,本质上是在强行修改机器人的「大脑」参数。

这面临着极高的「灾难性遗忘」风险:为了迎合新场景的光照和桌子高度,模型往往会「洗掉」预训练时积累的庞大通用常识,变成一个只会干特定活儿的傻瓜。

WAM-TTT创新性地引入了「大模型主干冻结 + 轻量内存模块后训练」 的全新范式。


在适应新场景时,WAM预训练的庞大模型参数被冻结(绝对保全了通用的物理常识和视觉推理能力)。所有的环境适应工作,仅仅去更新一个极轻量级的快速权重 。


相较于SFT,这种解耦方式不仅完美保留了预训练的通用泛化性,更实现了真正的零遗忘。

这为通用机器人的规模化部署奠定了最核心的技术基础:未来,机器人每到一个新工厂,只需要加载的「快权重记忆包」,就能瞬间化身熟练工,即插即用!

5倍碾压,

直面真实世界的残酷

考场先摆出来:论文公布的真实世界跨域评估,9项复杂任务,扰动全是机器人上岗后真实会撞上的:光照变了,物体换了,背景乱了。

文章开头已经讲过,对比非常鲜明。

数亿美金算力砸出来的π0.5,平均成功率跌到14.8%;而WAM-TTT是它的3.1倍。


9项任务8胜1负!

不过,比成功率更能说明问题的,是另一把尺子:泛化保持率。也就是技能从训练场带到新环境,还能剩下几成功力。

这把尺子量出来的差距,π0.5泛化保持率不足一半,只有47%,而WAM-TTT在测试中泛化保持率为76%。


很多人幻想,给机器人看几个示例视频,它就能像ChatGPT写文章一样照猫画虎。

测试结果却是一记响亮的耳光:在相同的环境扰动下,使用了ICL的基线模型WAM-ICL,成功率从标准环境的48.4%直接崩塌至7.1%,泛化保持率只剩14.7%。


同样的偏移面前,WAM-TTT的泛化保持率高达75.6%,是ICL的5倍多。

打个比方:训练场里练出10分功力,换个环境,ICL只剩1.5分,WAM-TTT还稳稳握着7.6分。

差距从哪来?

ICL是「应试型」学习,靠上下文与训练数据的表面相似,而现实世界,简单的上下文关联根本无法承载时空的物理因果,环境一变就露馅。

WAM-TTT是「理解型」学习,用快速权重吸收的是任务的本质动态结构,而不是死记硬背表面特征。

面对真实扰动,ICL一击即溃,而WAM-TTT凭借46.2%的成绩,打出了超5倍的降维打击!

这也是全球首次在真实机器人任务中系统证明:测试时训练在泛化性上,碾压上下文学习。

这证明了WAM-TTT不是在死记硬背表面特征,而是真正理解了任务的动态结构。

具身智能部署时的适应方案怎么选,行业第一次有了明确的路线指引。

不到两年的「三连跳」

开创技术路线,完成产业闭环

把时间轴拉长,我们会发现WAM-TTT的发布绝非偶然。

银河通用在不到两年的时间里,以惊人的速度,完成了具身智能技术与产业应用闭环的「三连跳」。


第一跳,在2025年。

银河通用首次在顶级会议ICCV发布WAM模型,全球首次打破壁垒。

彼时,整个赛道深陷VLA与世界模型的路线之争。

银河通用以破局者的姿态,提出WAM(世界-动作模型),将懂物理的世界模型与懂执行的动作模型在潜空间统一。

这一跳,他们打破了技术路线的次元壁,成为了标准的定义者。

2026年的第二跳,他们发布了AstraBrain WAM进阶成果,一举打开Scaling Law。

当同行还在消化WAM概念时,银河通用直接将理论工程化。

他们证明了WAM架构具有惊人的扩展性,实现了对互联网视频、人类示范、遥操数据甚至失败数据的统一有效利用。

这一跳,他们为具身智能找到了明确的「Scaling Law」,让大算力大数据的投入产出变得可量化。

今天的第三条,WAM-TTT补上了最后、也是最关键的一块拼图:发布后训练范式WAM-TTT,打通规模化应用闭环。

当然,这里需要说明: WAM-TTT的强大,并不是说机器人从此以后完全不需要训练了。

它的核心意义在于,在例如数采工厂里,机器人学会一项技能后,可以以极低的数据要求、极低的金钱和时间成本,完成对新场景的适应和部署。

它解决的,是具身大模型真正走向商业落地的最后一公里痛点,从此,彻底形成了WAM从技术研发到产业应用的完整闭环。

中国具身智能,站起来了

长期以来,在全球人形机器人和具身智能的竞技场上,尤其是对标Optimus时,国内舆论场中一直弥漫着一种论调:「中国企业底盘控制做得好、电机强,但只是『本体强』,我们在最核心的AI模型泛化能力上,『大脑弱』。」

中国企业在供应链和制造成本上有优势,但在最核心的大模型算法创新上,只能跟在硅谷巨头身后亦步亦趋?

但今天,银河通用用不到两年的三连跳,用高达3.1倍的碾压级数据,彻底粉碎了这一论调!

从提出WAM架构,到解锁Scaling Law,再到用WAM-TTT开创后训练新范式,中国企业不再是跟在硅谷巨头身后亦步亦趋的跟随者,而是真正在创造全新的技术范式,引领全球的技术走向。

这就是中国科技硬实力的自信。

当机器人在踏入陌生厨房的那一秒,学会通过「看」来修正自己的动作时,那个曾遥不可及的通用机器人时刻,才真正具备了大规模商业落地的可行性。

这一场属于全人类的具身智能工业革命中,中国企业,正当其时!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
博主:梅西踩踏斯彭斯图片由AI生成,25号变成了23号

博主:梅西踩踏斯彭斯图片由AI生成,25号变成了23号

懂球帝
2026-07-16 23:04:03
微信视频通话会有监控吗?网友在对话时使用机械声,马上收到微信警告

微信视频通话会有监控吗?网友在对话时使用机械声,马上收到微信警告

回旋镖
2026-07-09 10:02:20
官方披露:大学教授因传播躺平、摆烂等负能量,被处理

官方披露:大学教授因传播躺平、摆烂等负能量,被处理

化学人生
2026-07-16 22:46:52
纠结啊!浙江一年薪30万财务总监哭诉,因大专学历6年未涨薪,外部抛出40万橄榄枝担心被套路

纠结啊!浙江一年薪30万财务总监哭诉,因大专学历6年未涨薪,外部抛出40万橄榄枝担心被套路

火山詩话
2026-07-14 15:36:24
邹市明破产背后“黑手”竟然是她,母亲早已看透,奈何他深陷其中

邹市明破产背后“黑手”竟然是她,母亲早已看透,奈何他深陷其中

林轻吟
2026-07-16 22:00:54
七次流拍,西安“双子塔”等不到接盘者

七次流拍,西安“双子塔”等不到接盘者

每日经济新闻
2026-07-16 15:58:13
他们这种烂事儿,老百姓看完心都是“拔凉”的!

他们这种烂事儿,老百姓看完心都是“拔凉”的!

走读新生
2026-07-14 15:09:49
再见了张艺谋、冯小刚,周星驰的《功夫女足》撕开内娱最残酷真相

再见了张艺谋、冯小刚,周星驰的《功夫女足》撕开内娱最残酷真相

丁隗解说
2026-07-16 05:37:06
伊朗宣布关闭霍尔木兹海峡!直至另行通知以及美国停止干涉这一地区为止

伊朗宣布关闭霍尔木兹海峡!直至另行通知以及美国停止干涉这一地区为止

都市快报橙柿互动
2026-07-12 08:01:30
俄方:亚历山大·雅科夫列夫遇袭身亡

俄方:亚历山大·雅科夫列夫遇袭身亡

政知新媒体
2026-07-16 12:52:53
世界杯早参丨阿根廷2比1逆转英格兰,连续两届进决赛;凯恩回应球队被绝杀;亚马尔决赛迎来曾为幼时的他洗澡的梅西

世界杯早参丨阿根廷2比1逆转英格兰,连续两届进决赛;凯恩回应球队被绝杀;亚马尔决赛迎来曾为幼时的他洗澡的梅西

红星新闻
2026-07-16 07:17:13
随着阿根廷2-1进决赛,世界杯最新夺冠概率出炉:阿根廷不被看好

随着阿根廷2-1进决赛,世界杯最新夺冠概率出炉:阿根廷不被看好

侧身凌空斩
2026-07-16 06:16:41
美国学者评价对越反击自卫战:中国装备落后20年,武器后勤是最大弱点,拿什么打赢了这场战争?

美国学者评价对越反击自卫战:中国装备落后20年,武器后勤是最大弱点,拿什么打赢了这场战争?

磊子讲史
2026-07-16 16:35:04
无对手!梅西有望锁定个人第9座金球奖,足坛封神再无争议!

无对手!梅西有望锁定个人第9座金球奖,足坛封神再无争议!

田先生篮球
2026-07-16 10:17:51
他们盯上蒋方舟已经很久了

他们盯上蒋方舟已经很久了

壹家言
2026-07-15 09:05:34
乌克兰新旧之争:防长费多罗夫与总司令西尔斯基的“矛盾”

乌克兰新旧之争:防长费多罗夫与总司令西尔斯基的“矛盾”

项鹏飞
2026-07-16 21:50:15
一集入坑!《后翼弃兵》女主又杀疯了!!

一集入坑!《后翼弃兵》女主又杀疯了!!

君君电影院
2026-07-16 02:06:28
花蚊子入侵中国五十年,人们夜晚再也不能乘凉,它到底来自哪里?

花蚊子入侵中国五十年,人们夜晚再也不能乘凉,它到底来自哪里?

铭记历史呀
2026-07-10 19:30:52
在《中餐厅》翻车的张雅琪:以为是素人,其实背景不简单

在《中餐厅》翻车的张雅琪:以为是素人,其实背景不简单

喵喵娱乐团
2026-07-14 20:34:23
央媒点名贾浅浅一天内三噩耗,撤销学位只是开胃菜

央媒点名贾浅浅一天内三噩耗,撤销学位只是开胃菜

书慧我心
2026-07-15 21:48:30
2026-07-17 00:19:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
15707文章数 66958关注度
往期回顾 全部

科技要闻

苹果AI终于要来了:还能追上华为豆包们吗

头条要闻

扎波罗热核电站总工遭袭身亡 被指或改变俄乌冲突性质

头条要闻

扎波罗热核电站总工遭袭身亡 被指或改变俄乌冲突性质

体育要闻

逆天6后卫神阵,图赫尔活活坑死英格兰

娱乐要闻

天下无不散宴席!白鹿官宣告别欢娱

财经要闻

韩国股市暴涨暴跌 借钱炒股的散户快疯了

汽车要闻

新一代理想L6正式上市 24.98万元 标配高阶智驾/四驱

态度原创

本地
艺术
家居
公开课
军事航空

本地新闻

人生必去清单:那达慕大会开嗨!

艺术要闻

砸40亿!新浪微博买下上海地标,到底值不值?

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美对伊战事真实花费被指高达千亿美元

无障碍浏览 进入关怀版