网易首页 > 网易号 > 正文 申请入驻

起猛了,机器人开上卡丁车了!

0
分享至

来源:市场资讯

(来源:机器之心)

机器之心发布

今天,Symbiosis Robotics(共生知行)放出了一段新演示。

画面里,机器人先压低身体,把四肢挪进卡丁车狭窄的驾驶位。驶上赛道后,它根据眼前的弯道调整方向,右脚踩油门、左脚控制刹车。镜头来到终点,卡丁车随即甩尾,原地漂了一圈。

几段赛道画面中,机器人根据弯道调整方向;镜头来到终点,卡丁车随即甩尾漂了一圈。

你别说,这套动作还真有点「机器人车手」的样子。

不过,热闹不只在漂移。

这段视频真正想回答的是一个更基础的问题:机器人已经看懂了弯道,接下来,怎样让这份判断及时变成全身的关节动作?

团队推出了 Direct Perception Control(DPC)。它取消了需要独立 Whole-Body Tracker 追踪的中间运动表示,让模型结合画面、任务和身体反馈,直接计算关节与手部目标。

为了训练这套系统,团队还整理了 15,010 小时具身数据。

机器人开卡丁车,难在哪里?

先看上车。

卡丁车座舱低矮又狭窄,机器人要压低躯干,重新安排髋、膝和四肢的位置,同时还得给双手留出握住方向盘的空间。

开起来以后,事情更多。

机器人一边要根据赛道画面判断弯道,一边要连续协调手脚:双手调整方向,右脚控制油门,左脚控制刹车。车速和转向一变,身体受到的反馈也跟着变,下一步动作必须马上调整。

换句话说,难点不只是「会转方向盘」或「会踩油门」,而是让感知、决策和全身控制在连续运动中接得上。

这正好暴露了人形机器人系统里一个长期存在的问题:看懂任务的模型,和真正控制身体的模型,中间还隔着多远?

一层 Motion Interface,究竟限制了什么?

常见的人形机器人控制方案,会把「知道要做什么」和「让身体做出来」分成两层。

Figure Helix 用一套系统处理低频语义推理,另一套系统负责高频控制。Gemini Robotics 2 也分别使用 embodied reasoning model 与 VLA 完成任务推理和全身动作执行。〔2–3〕这类分层设计已经十分成熟,DPC 进一步探索的是:能否让负责认知理解的模型与直接生成关节动作的 motion expert 在统一训练中联合优化,使任务理解与全身控制相互适配,共同提升。


分层架构先生成运动表示,Whole-Body Tracker 再计算关节动作。DPC 考察接口是否保留足够信息,也关注训练怎样连接以及低层控制器会做哪些动作。

Motion goal 说清了姿态,还缺少什么?

Motion goal 描述身体大概要做什么,真正执行时,Tracker 还要结合当前身体状态计算 Joint Target。上层模型即使更懂任务,也不会自动掌握 Tracker 在不同接触和平衡条件下学会的动作。决定身体怎样发力、怎样维持支撑的关键选择,仍然发生在 Motion Interface 之后。


潜空间里相近的运动意图,经过身体状态的条件映射后,可能对应差异明显的关节动作。

实机上连续执行,训练时能否一起调整?

实机运行时,Latent Policy 和 System 0 会依次工作。训练时,前者学习生成运动表示,后者单独学习 tracking 与 stability。两套模型直到部署时才通过接口接起来,低层动作产生的误差和画面变化也就无法同时用来调整上层策略。


Latent Policy 与 Whole-Body Tracker 分别训练,部署时再通过 Motion Interface 串在一起。

当低层控制器被冻结,机器人的动作能力还能扩展吗?

机器人最终能做出哪些动作,还取决于 System 0 见过哪些训练数据。低层先验如果主要学习行走,高层新增的移动操作任务仍要由这套先验执行。坐进卡丁车需要在狭小空间里重排全身姿态,驾驶又要求上肢和下肢持续配合,这些动作都在扩展原有的行走范围。


移动操作会进入行走数据较少覆盖的区域,低层控制器学过的动作范围也会影响最终执行。

这并非 DPC 独自面对的问题。ω-0、MotionWAM 和 Ψ₀ 都将视觉信息与身体状态用于动作生成,但仍采用分层控制:前两者先预测全身动作 latent ,再交由底层控制器执行;Ψ₀ 则将上下肢解耦,分别生成下肢运动指令和上肢关节命令。〔4–6〕相比之下,DPC 直接以 Joint Target 作为训练目标,在学习关节动作时始终参考任务信息和身体反馈。

DPC,怎样把画面直接变成关节动作?

如果限制来自中间接口,DPC 的选择就不是继续扩充这层表示,而是绕过它。按照官方说明,DPC 取消了需要独立 Whole-Body Tracker 追踪的中间运动表示。DPC 读取画面和任务语言,同时接收身体状态;此前的动作记录和执行反馈也会一并纳入计算,最终直接输出关节和手部目标。〔1〕

DPC 中的 “Direct” 指直接输出 Joint Target。电机仍由 PD 控制和硬件执行层驱动,关节限制等安全措施也完整保留。

DPC 内部保留 Perception Expert 与 Motion Expert,前者理解场景和任务,后者处理高频身体反馈。Symbiotic Attention 让两边交换信息,并在同一个 action objective 下训练。这样一来,感知专家会留意那些可能改变动作的画面差异,运动专家计算关节目标时也能使用最新的任务信息。

相机画面无需频繁重复计算,身体状态却一直在变化。DPC 异步更新视觉结果,同时连续读取本体反馈。运动专家每次计算动作时,都能使用最新的画面信息和身体状态。


DPC 取消了等待 Tracker 追踪的运动参考,直接结合画面和身体反馈计算关节与手部目标。

直接输出关节动作打通了训练链路,但也要求策略正面处理实机执行中不断积累的偏移。接口取消后,DPC 策略还要学会处理实机运行中的偏离,因此它先通过 Offline BC 完成初始化,再进入 DriftDistill 的第二阶段训练。Student 在 online rollout 中遇到自身容易偏离的状态,Frozen Teacher 为这些状态给出恢复动作;训练时,online rollout 与 offline demonstrations 会一起用于更新 Student。


DriftDistill 先用离线示范建立动作基础,再把 Student 实际遇到的偏离状态和 Teacher 给出的恢复动作加入训练。

经过反复 rollout,Student 会逐步学会自己在部署中遇到的状态和恢复路径。更新后的 Student 策略可以处理更多实机状态,也能在偏离发生后继续完成任务。

15,010小时数据,怎样装进同一个机器人身体?

直接输出 Joint Target 也把数据问题推到了前台:不同来源的记录必须先被转换成同一种“关节语言”。人类视频与不同机器人数据采用各自的身体结构和控制方式,无法直接混合训练;DPC 因此将每类数据转换成 G1 可执行、时间对齐的 joint action,再统一用于训练。〔1〕

更新后的数据集共 15,010 小时:

  • 6,781 小时 Human Ego 数据;

  • 4,024 小时 Armed Robot 数据;

  • 3,660 小时 Wheeled Humanoid 数据;

  • 545 小时 Bipedal Humanoid 数据。


不同来

源数据经过转换后,对应到同一套 G1 关节动作。

转换完成后,画面、任务语言、身体状态、动作历史和后续关节动作被放到同一条时间轴上。所有数据最终落到同一个 execution space,为DPC模型提供统一的 Joint Target 监督。

不只开车,DPC还做了什么?

开车是最抓眼球的一段,但不是 DPC 的全部演示。

官方页面还展示了移动抓取与放置,以及受限姿态下的全身操作。〔1〕

在移动操作片段中,机器人走到桩前,弯腰下蹲后单手拿起目标,再转身移动到指定位置放下。

机器人走到桩前,俯身拿起目标,再转身移动到放置位置。

抓取会改变负重,转身会改变支撑关系。机器人需要一边完成任务,一边根据新的身体状态调整全身动作。

机器人压低躯干并调整四肢,坐进低矮的卡丁车座舱。

坐进卡丁车,则把这种能力推到了更受限的空间里;驶上赛道后,变化的画面又进一步进入控制闭环。

这些 demo 串起的是同一件事:机器人看到环境变化后,不再先生成一份运动参考、再等待独立 Tracker 翻译,而是结合此刻的身体状态,直接计算下一步关节动作。

当然,一段漂移视频不等于机器人已经学会了通用驾驶。DPC 展示的重点,也不是车技有多成熟,而是任务理解和全身控制能否在同一个训练目标下真正接起来。

回到开头。

机器人看见弯道,随即调整方向和油门;车身状态发生变化,下一步关节动作也跟着变化。

从「看懂」到「动起来」,中间少掉的不只是一层接口。

它也让感知与控制有机会在同一套系统里,共同学会如何完成任务。

文末 “阅读原文” 可查看Symbiosis Robotics(共生知行)更新后的完整技术页面,页面同时收录数据管线和实机演示。

资料来源

[1] Symbiosis-Robotics. Direct Perception Control Model, 2026. https://symbiosis-robotics.com/research/dpc

[2] Figure. Helix: A Vision-Language-Action Model for Generalist Humanoid Control, 2025. https://www.figure.ai/news/helix

[3] Google DeepMind. Gemini Robotics 2 brings whole body intelligence to robots, 2026. https://deepmind.google/blog/gemini-robotics-2-brings-whole-body-intelligence-to-robots

[4] Li Z, Zhang Z, Wei Y, et al. $\omega $-0: A Latent Predictive World Action Model for Concurrent Humanoid Loco-Manipulation, 2026. ttps://arxiv.org/pdf/2608.06375

[5] Zheng J, Ma T, Fan Y, et al. MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation, 2026. https://arxiv.org/pdf/2606.09215

[6] PSI Lab. {$\Psi_0$}: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation,2026. https://psi-lab.ai/Psi0

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
伤亡惨重!1300美军全泄密,伊朗顺藤摸瓜,特朗普:待得还不够久

伤亡惨重!1300美军全泄密,伊朗顺藤摸瓜,特朗普:待得还不够久

冰语历史
2026-08-19 10:09:33
创业板指跌逾6% 科创50跌近7%

创业板指跌逾6% 科创50跌近7%

每日经济新闻
2026-08-19 14:38:04
穆帅:我和罗德里谈过几次,但他的犹豫让我产生了疑虑

穆帅:我和罗德里谈过几次,但他的犹豫让我产生了疑虑

懂球帝
2026-08-19 08:58:10
明成祖朱棣的靖难之役,为何不走正定,却偏要选择人烟稀少的天津

明成祖朱棣的靖难之役,为何不走正定,却偏要选择人烟稀少的天津

大运河时空
2026-08-18 13:00:03
刘慧,受贿数额特别巨大

刘慧,受贿数额特别巨大

新京报
2026-08-18 10:11:24
终于知道为何各大车企疯狂降价了,原来是资本已嗅觉到大变化了

终于知道为何各大车企疯狂降价了,原来是资本已嗅觉到大变化了

阿芒娱乐说
2026-08-19 01:19:52
他逃亡16年,靠赃款娶4个漂亮老婆生12个娃,被捕时身家有几个亿

他逃亡16年,靠赃款娶4个漂亮老婆生12个娃,被捕时身家有几个亿

鲸探所长
2026-08-19 11:36:47
随着中国男篮3场热身赛收官,郭士强开始动刀?这3人或将离开

随着中国男篮3场热身赛收官,郭士强开始动刀?这3人或将离开

南风入弦y
2026-08-19 07:53:40
就在刚刚,广东队重磅三个消息:徐杰突然受伤,教练组迎来新成员,萨姆纳提价

就在刚刚,广东队重磅三个消息:徐杰突然受伤,教练组迎来新成员,萨姆纳提价

伴你终老n
2026-08-19 08:21:15
百亿遗产一分不要!73岁的迟重瑞近况曝光,原来早已选好另一条路

百亿遗产一分不要!73岁的迟重瑞近况曝光,原来早已选好另一条路

皮皮电影
2026-08-18 12:20:15
破记录!香港两天涌入超百万游客,消费者用脚投票说明了一切

破记录!香港两天涌入超百万游客,消费者用脚投票说明了一切

阿莱美食汇
2026-08-19 00:49:05
奇怪的现象:一个家庭,父母越尊重孩子,孩子越怕苦怕累、脾气大

奇怪的现象:一个家庭,父母越尊重孩子,孩子越怕苦怕累、脾气大

木言观
2026-08-19 08:10:00
中国农业发展银行党委:坚决拥护党中央决定,坚决拥护中央纪委国家监委决定

中国农业发展银行党委:坚决拥护党中央决定,坚决拥护中央纪委国家监委决定

中国青年报
2026-08-18 23:20:22
无人报考!多所大学面临倒闭

无人报考!多所大学面临倒闭

华人星光
2026-08-18 11:25:03
妻子在医院陪伴男同事3天整,结束后哄我说今晚好好陪我,我平静:不用,你的行李我已经寄到新住处了

妻子在医院陪伴男同事3天整,结束后哄我说今晚好好陪我,我平静:不用,你的行李我已经寄到新住处了

晓艾故事汇
2026-08-15 09:23:38
山姆“Milk Talk”网传喝一瓶能瘦三斤,遭代购疯抢

山姆“Milk Talk”网传喝一瓶能瘦三斤,遭代购疯抢

品智PLSC
2026-08-18 19:43:19
国乒最终阵容落定!莎头确定出战, 王励勤布局精妙, 林诗栋让人意

国乒最终阵容落定!莎头确定出战, 王励勤布局精妙, 林诗栋让人意

寻墨阁
2026-08-19 06:09:31
普京登岛第二天,中国对北方四岛的表态,不给日本钻空子的机会

普京登岛第二天,中国对北方四岛的表态,不给日本钻空子的机会

经纬戎韬
2026-08-17 18:07:56
国家级院士提醒:过了60岁,体检主要查这6项,别随便乱查

国家级院士提醒:过了60岁,体检主要查这6项,别随便乱查

路医生健康科普
2026-07-10 20:35:03
平时骂中国最凶,地震了却要中国收留1.26亿人,这账算得过来吗?

平时骂中国最凶,地震了却要中国收留1.26亿人,这账算得过来吗?

李云飞Afey
2026-08-18 13:12:43
2026-08-19 15:04:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4472311文章数 9324关注度
往期回顾 全部

科技要闻

宇树科技1100元开盘,较发行价上涨629%

头条要闻

牛弹琴:日本大使被叫去挨骂 25分钟脸色铁青

头条要闻

牛弹琴:日本大使被叫去挨骂 25分钟脸色铁青

体育要闻

在国际球探眼中,中国年轻球员是什么水平?

娱乐要闻

230万变3亿,章子怡活成自己的靠山

财经要闻

内部反腐,让大疆错过宇树250亿收益?

汽车要闻

小米澎程N70体验 后排空间夸张亦可旋转对坐

态度原创

健康
手机
旅游
亲子
公开课

女孩更易侧弯?几类孩子风险偏高

手机要闻

传苹果A20 Pro芯片性能提升约18% 功耗最多降低30%

旅游要闻

玉渊潭公园小樱游乐园升级亮相,游船游艺开启延时服务

亲子要闻

小姨带娃,不看不知道,一看吓一跳

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版