网易首页 > 网易号 > 正文 申请入驻

看了20万小时「人类干活实录」,机器人悟了

0
分享至

刚刚,机器人圈公认最难的「家务大考」RoboCasa-365,榜首换人了。

新纪录62.6%,比之前的SOTA直接高出8.4个百分点。

要知道,这个榜上大部分模型还在50%以下挣扎。

更有意思的是,登顶的这个名字,之前几乎没人听说过:Riemann-1.0,黎曼动力

一查,好家伙,首秀。这个模型才刚在WAIC 2026上正式发布。



跑分说明不了一切,我又去翻了它的真机视频。

随手点开一段机器人收拾餐桌的demo,只能说,榜单没骗人。

薄薄贴在桌面上的勺子,夹得起来;碗里剩的汤,知道先倒了再收;完事了还顺手把桌子擦干净。



视频地址:https://mp.weixin.qq.com/s/KIBoK4IAklhdmU21fCIyVg

(完了,估计连老妈以后的台词都要改了:连机器人都比你眼里有活儿~)

再往上扒,黎曼动力背后站着的是昆仑万维——前者正是昆仑万维专为具身智能方向成立的子公司。

一个新面孔,凭什么首秀就登顶?

答案藏在它的「食谱」里:23.2万小时训练数据中,占大头的根本不是机器人数据,是人的视频

没错,人做饭、叠衣服、收拾桌子的第一视角视频。

造机器人大脑,行业吵出了新共识

为什么是「人的视频」?这还要从具身智能领域吵了一年多的路线之争说起。

VLA和世界模型,谁代表机器人的未来?行业曾为此分裂成鲜明两派

两派各有优劣,为便于大家做对比,这里我直接放了一张AI生成的图表:



△图片由AI生成

简单总结就是,VLA属于「直觉派」,快但容易翻车;世界模型则属于「深思派」,稳但是又慢又贵。

吵着吵着大家发现:算了,既然各有优劣,那不如来一个取长补短?

于是,两条路线开始合流

今年6月,英伟达西雅图机器人实验室发布了一篇长文综述,文章的核心判断是:

World Action Model(WAM,世界动作模型)已经从VLA研究里的小众分支,迅速长成了机器人基础模型的第二条主路线,而下一代机器人基础模型,大概率是两者的混合体。



△图源:英伟达官方技术博客

ICML 2026上,包括LeCun团队在内的多篇论文也在往同一个方向使劲:

从海量无标注的野外视频(in-the-wild videos)里学习潜在动作世界模型。



△图源:ICML官网

把这些工作放在一起看,一条正在被越来越多团队验证的训练范式浮出水面:

先用大规模开放世界视频做预训练,让模型看遍人类怎么和物理世界打交道,攒够物理直觉;再用少量真实机器人数据做动作对齐,把直觉翻译成可执行的控制信号

这就解释了,为什么下一代机器人大脑,都盯上了「人的视频」。

对机器人来说,人类每天的生活就是一场不间断的操作示范。做饭、叠衣服、整理房间,这些第一视角视频里,藏着人类怎么感知环境、规划动作、处理意外的全部秘密。

而且这类数据要多少有多少,场景丰富,还在源源不断地增长。

实际上,行业里少部分前沿玩家已经看到了这点。比如Being-H0.7用了20万小时第一视角人类视频,Generalist AI的GEN-1更是砸了50万小时可穿戴设备采集的人类数据。

作为其中之一,Riemann-1.0的独特之处在于:

它是国内较早把这条范式完整工程化跑通的选手,从仿真Benchmark到真机均获得验证的那种

而它之所以能跑通,关键在于解决了一个核心难题:人类视频里没有机器人动作标签

没错,再漂亮的范式,也有自己的问题要解决。

人叠衣服的视频看得再多,机器人手臂该转多少度、夹爪该用多大力,视频里一个字都没写。

看得懂,做不出。

20万+小时人类干活的视频,怎么变成机器人手上的活儿?

这正是Riemann-1.0故事的起点。

23.2万小时视频,怎么变成机器人的手艺

Riemann-1.0,一款面向通用机器人操作的世界模型(World Action Model)。

从名字就能看出来,它正是前文说的「混合体」:

VLA的手它有(直接出动作),世界模型的脑它也有(预演世界演化),两派的活儿,一个模型全包了。



而它要攻克的,正是行业面前那道共同的坎:

怎么把没有动作标签、来源五花八门的开放世界数据,变成机器人可执行的控制能力,而且要跨机器人本体通用。

Riemann-1.0的解法,用做菜来类比,可以拆成三步。

Part 1:准备食材

数据就是食材。

仔细一扫Riemann-1.0的案板,只见上面摆着这样「三道菜」:

  • 「广菜」:20万+小时人类第一视角视频;
  • 「精菜」:1.2万+小时UMI与外骨骼手套数据;
  • 「准菜」:2万+小时机器人真机与仿真轨迹。

三种数据来源,23.2万小时训练数据,覆盖41种机器人本体、数千种交互方式

就这个规模,不得不说,已经足够机器人把人间烟火看个遍了(doge)。



△图片由AI生成

不过,食材多,不等于能直接开席。

尤其是占大头的那道「广菜」:20万+小时人类视频,没洗没切,连动作标签都没有,没法直接下锅。

怎么办?先备菜。

Part 2:备菜

黎曼动力为此自研了一套自动化人类数据处理流水线,专门负责洗菜切菜。

这套流水线怎么干活?不妨在头脑中想象,你正在跟着一段视频走一遍:




一段「人在厨房切菜的第一视角」视频进厂,第一件事是摆正

鱼眼镜头的畸变、歪了倒了的画面,统统矫正成正视图,方便后面下刀。

接着VLM上场,把长视频切成一个个细粒度动作,给每一段配上任务描述、动作指令、场景和物体信息。

切完还得过两轮一致性校验,标得对不上的,推倒重来。

切好的片段紧接着过质检

画面里人太多的、动作没意义的、遮挡严重的、活儿没干完的、不是第一视角的、手出了画面的,六类废片,直接进垃圾桶。

活下来的片段,迎来整条流水线上最核心的一步:给手建3D模

系统检测并追踪画面里的手,重建出完整的手部姿态,再配合相机位姿估计,把手的运动轨迹换算进世界坐标系,最后做整段平滑。

到这一步,视频里「手怎么动」,第一次变成了机器可读的3D坐标。

当然,重建的质量也得把关。

手看不清的、动得太快的、镜头晃太狠的,按阈值再筛一轮,和前面的语义质检互为补充。

最后一步是装盘:按场景、任务、动作、技能、物体五个层级分好类,均衡配比,防止模型偏食。



一段段视频这样走下来,海量「人类干活的录像」,就变成了一本机器人能读懂的「动作教材」。

P.S. 另外两道菜由于自带夹爪传感,业界已有相对成熟的处理流水线,这里就不多展开了。

Part 3:炒菜

食材备好,现在终于可以开火了。

炒菜讲究方法和火候,对应到模型上,就是架构和训练策略

架构上,Riemann-1.0基于扩散架构,提出了全因果动作-视频联合建模框架,把视觉动态、环境状态和机器人动作序列,放进同一个生成过程中统一学习。

这意味着,模型不只是知道「眼前看到了什么」,还在学习「动作会如何改变环境,以及下一刻世界可能变成什么样」。

而为了让同一个模型适配41种不同形态的机器人本体,Riemann-1.0进一步设计了本体专属的动作映射模块

共享对世界的理解,同时保留不同机器人的「肢体适配能力」。

说到底,它试图打造的是一个负责理解环境、预测变化的「通用世界大脑」,然后通过不同机器人的动作适配器,把这种理解转化为具体的执行能力。



再说火候。

训练分三段,秘诀藏在一组数字里:动作损失权重0.1→0.5→0.9

  • 第一阶段,小火慢炖。用Latent Action Model从海量人类视频里提取伪动作信号,动作权重只给0.1,让模型安心看片,先学会物理世界的运行规律。
  • 第二阶段,中火调味。引入UMI和机器人真实动作数据做校准,权重拉到0.5,把伪动作空间平滑过渡到真实控制空间。
  • 第三阶段,大火收汁。纯机器人数据集中强化,权重推到0.9,火力全开练出能直接上岗的真功夫。

从「以理解世界为主」渐进切换到「以执行动作为主」,有点像大模型训练里从预训练到对齐的路径,只不过载体从文本换成了物理世界的动作。



好了,菜出锅了,该尝尝味道了。

加一味人类视频,猛涨14.4个百分点

首先要验证的就是那个灵魂问题:绕这么大一圈用人类视频,真的有用吗?

消融实验给出了非常硬的答案。

在专门考察长序列家务能力的RoboCasa-365上,模型从头训练,成功率38.2%;加机器人数据预训练,43.4%,涨5.2个百分点;再加UMI数据,48.2%,又涨4.8个百分点。

然后,加入人类视频数据:62.6%

一下子猛增了14.4个百分点,比前两类数据的增益加起来还多。

Riemann-1.0团队认为:

这说明人类数据带来的远不止「更多训练样本」,它给模型灌进了更丰富的物体交互方式、动作语义和任务先验,直接抬高了模型在没见过的场景里的泛化上限

另一组严格控制变量的实验更狠。

在专为双灵巧手人形机器人设计的EgoVLA基准测试中,同样的模型、同样的机器人数据,仅仅比较加不加人类视频预训练:

长程多阶段任务的成功率,从42.96%干到71.11%,暴涨28个百分点;

换成完全没见过的视觉背景,也从26.36%提到43.33%。

任务链越长、场景越陌生,人类数据的价值越大



搞定这个基础性问题,最后来看整体成绩单。

先看仿真端的三张考卷:

  • LIBERO,业内常用的标准操作评测,考基本功,Riemann-1.0成功率99.0%;
  • RoboTwin 2.0,主打双臂协作任务的仿真基准,成功率94.3%;
  • RoboCasa-365,前面说的最难家务大考,62.6%,登顶SOTA。

显而易见,Riemann-1.0基本功评测稳居第一梯队,而优势最明显的,恰恰是RoboCasa-365这种强调家庭长流程、跨场景泛化的考试



不过,仿真刷榜终究是模拟考,真机上岗才是真考验。

上岗之前,团队先给模型安排了一轮「岗前实训」:针对真实落地场景的专项后训练

他们搭建了四类代表性的家务考场:有序积木堆叠,考精准操控和指令理解;柔性布料折叠,考形变物体的交互处理;桌面杂物整理和厨房餐具收纳,考杂乱居家环境下的长流程连续操作。

示范数据靠人工遥操作采集,四类场景合并做联合训练。

为了公平,参与对比的开源基座模型也拿同样的数据、同样的训练步数做了后训练,站在同一条起跑线上。

结果Riemann-1.0平均成功率85.00%,过程完成度(衡量长流程中间步骤推进的指标)94.43%,两项都在所有对比方法里排名第一,领先最好的开源模型15个百分点

而且四类任务成功率全部超80%,每项的过程完成度都在91%以上。

翻译翻译,不光结果能干成,中间每一步也走得稳,长流程不掉链子。



视频地址:https://mp.weixin.qq.com/s/KIBoK4IAklhdmU21fCIyVg

从仿真登顶到真机上岗,Riemann-1.0把「看人类视频学干活」这条路,从头到尾走通了。

One More Thing

最后说回黎曼动力本身。看到这家公司第一眼,我就在想:

昆仑万维,一个印象中涉足AI游戏、AI音乐、AI短剧等内容赛道的公司,怎么突然干起机器人了?

还专门成立一个子公司独立运营?



理了理,背后其实是两条逻辑线的交汇

一条属于行业。为什么人人都在谈具身智能、世界模型这些?本质上是因为交互方式正在发生变革。

人和AI的交互,前几年靠文字、图片、音视频;接下来,AI要开始伸手碰物理世界了。

内容公司做机器人,看似突兀,放进这个大转向里,只是早晚问题。

另一条属于昆仑万维自己。它的下场,早有铺垫。

早前那些高频的模型更新就不说了,就说这次它主办的《世界模型与多模态范式跃迁》论坛,其实一共亮相了三款模型:

  • Matrix-3.5世界模型(升级):可交互能力实现跃迁,打通数字孪生与具身智能底层底座;
  • Mureka v9.5(升级):AI音乐创作走向量产级落地;
  • 机器人模型Riemann-1.0(首发):打通世界模型与实体机器人交互闭环。

看出门道了吗?前两个管数字世界的生成,第三个开始伸手碰真实世界。

尤其是世界模型这块底座,一头连着游戏和视频;另一头,第一次连上了实体机器人。

数字牌打满,下一张落在物理世界,水到渠成。

两条线在这里交汇,就有了黎曼动力

至于为什么单独成立公司?昆仑万维的逻辑并不复杂:

机器人这种硬核赛道没有速胜,得让核心团队独立发展、配上专属资源、做长期投入。

母公司出算力、出生态,团队专心跑技术,各展所长。

一套动作下来,昆仑万维,这家几年前就把「实现AGI」写进公司使命的玩家,第一次真正把手伸进了物理世界。

AGI的上半场在屏幕里,下半场,在屏幕外

方向已明,剩下的,就看谁跑得快了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
牛肉再次成瞩目!调查得出:高血脂患者吃牛肉,不出多久或5变化

牛肉再次成瞩目!调查得出:高血脂患者吃牛肉,不出多久或5变化

周哥一影视
2026-07-20 00:27:19
汗在哪里,病就在哪里?尤其是这4个部位出汗多,可能暗藏健康隐患

汗在哪里,病就在哪里?尤其是这4个部位出汗多,可能暗藏健康隐患

大象新闻
2026-07-18 15:12:03
詹姆斯离队内幕曝光:亏1.1亿也要送走,原因并非战力

詹姆斯离队内幕曝光:亏1.1亿也要送走,原因并非战力

画夕
2026-07-19 10:13:51
后天起!央一央八优酷爱奇艺等5部王炸剧上新!戏骨云集,追哪部

后天起!央一央八优酷爱奇艺等5部王炸剧上新!戏骨云集,追哪部

东方不败然多多
2026-07-20 01:19:34
高志凯就是高志凯,一个“鱼塘”比喻,把澳媒主持人的脸打肿了

高志凯就是高志凯,一个“鱼塘”比喻,把澳媒主持人的脸打肿了

大道微言
2026-07-17 16:36:27
拍戏数十年零绯闻,王侃抗癌两年离世,提前办好财产公证留给妻子

拍戏数十年零绯闻,王侃抗癌两年离世,提前办好财产公证留给妻子

情感大头说说
2026-07-20 06:03:49
90岁牛犇痛失次子王侃!大儿子成晚年唯一依靠,王侃女儿已32岁

90岁牛犇痛失次子王侃!大儿子成晚年唯一依靠,王侃女儿已32岁

东方不败然多多
2026-07-19 10:12:27
中日韩人均身高对比:日本仅164.5cm,韩国166cm,中国确实没想到

中日韩人均身高对比:日本仅164.5cm,韩国166cm,中国确实没想到

铭记历史呀
2026-07-06 10:25:52
岳父当众扇儿子两巴掌,我当场决定不再进他家的门,岳父瞬间慌了

岳父当众扇儿子两巴掌,我当场决定不再进他家的门,岳父瞬间慌了

千秋文化
2026-07-13 19:46:34
中医:馒头是“纯阳之物”!一定要多吃,养脾胃、助消化、补阳气、浑身有劲

中医:馒头是“纯阳之物”!一定要多吃,养脾胃、助消化、补阳气、浑身有劲

白米饭怎么吃
2026-07-08 17:09:43
马竞有10名球员参加世界杯决赛,是自1934年以来首次

马竞有10名球员参加世界杯决赛,是自1934年以来首次

懂球帝
2026-07-19 21:37:05
大难临头各自飞!中方甩出严厉措辞:日菲也不叫了,印度也不跳了

大难临头各自飞!中方甩出严厉措辞:日菲也不叫了,印度也不跳了

健身狂人
2026-07-18 17:40:40
42岁中国女子非法入境后经营“黄色”按摩店,遭ICE拘留后竟主动要求“尽快遣返”

42岁中国女子非法入境后经营“黄色”按摩店,遭ICE拘留后竟主动要求“尽快遣返”

纽约时间
2026-07-20 03:53:55
明查|伊朗导弹击中美国“林肯”号航母是AI生成视频

明查|伊朗导弹击中美国“林肯”号航母是AI生成视频

澎湃新闻
2026-07-17 12:09:19
新冠确诊的人越来越多?医生再次强调:宁可打打牌,也别做这6事

新冠确诊的人越来越多?医生再次强调:宁可打打牌,也别做这6事

任医生聊健康
2026-07-19 14:00:13
接亲被伴娘堵门要999红包,新郎喊三遍新娘不开门,转身带走婚车队:这婚不结了!

接亲被伴娘堵门要999红包,新郎喊三遍新娘不开门,转身带走婚车队:这婚不结了!

一丝不苟的法律人
2026-07-18 17:33:11
让你“能消费、敢消费、愿消费”:国家出台五年消费新规划

让你“能消费、敢消费、愿消费”:国家出台五年消费新规划

西门老爹
2026-07-16 15:03:48
马桶不用时,盖子该掀开好还是关上好?多亏内行人提醒,我才恍然大悟!

马桶不用时,盖子该掀开好还是关上好?多亏内行人提醒,我才恍然大悟!

设计最前沿
2026-07-19 20:09:38
沉默半个月,然后哈登连续发声“招募”!骑士给了詹姆斯最后的体面

沉默半个月,然后哈登连续发声“招募”!骑士给了詹姆斯最后的体面

老梁体育漫谈
2026-07-20 00:58:49
日本人评价抗美援朝:中国若是不出兵,美国根本打不到鸭绿江边,可中国偏偏去了,这仗西方复盘了70多年都没搞懂

日本人评价抗美援朝:中国若是不出兵,美国根本打不到鸭绿江边,可中国偏偏去了,这仗西方复盘了70多年都没搞懂

磊子讲史
2026-07-15 15:33:52
2026-07-20 06:44:49
量子位 incentive-icons
量子位
追踪人工智能动态
12988文章数 176521关注度
往期回顾 全部

科技要闻

Kimi K3单项登顶 整体落后前沿模型2-3个月

头条要闻

西班牙世界杯仅失一球 刷新欧洲球队最长不败纪录

头条要闻

西班牙世界杯仅失一球 刷新欧洲球队最长不败纪录

体育要闻

世界杯决赛,从“澡盆德比”500年前讲起

娱乐要闻

王侃因病逝世 两年前与父亲牛犇同台

财经要闻

任泽平VIP会员自称爆仓巨亏千万

汽车要闻

被追尾还能自动加速逃生?华为乾崑智驾ADS 5.0 OTA时间表发布,只有这台车不用等!

态度原创

时尚
亲子
健康
本地
军事航空

除了机车包,Balenciaga的服装才是真正顶流

亲子要闻

专家:家长应关注儿童乙肝表面抗体水平变化,必要时加强接种

刮痧也会刮出脑梗?讲个真实案例

本地新闻

十年了,为什么鬼怪CP还能让人美美嗑上?

军事要闻

两名美军被伊朗炸死 特朗普:令人难过

无障碍浏览 进入关怀版