丰田CUE机器人新进展：通过强化学习+Sim2Real，走路、运球新技能

人形机器人走向实用，最难的从来不是 “能走”，而是走得稳、学得快、能从仿真顺利落地现实。丰田未来创生中心，正用一套全新的强化学习 + Sim2Real 路线，让旗下 CUE 篮球机器人实现行走、站立乃至运球。尽管CUE目前还不具备行走能力，但通过这套技术路线，有望把双足控制与动态交互能力推到新高度。

左侧：森田光典。右侧：伊藤贵弘

近日，丰田官方采访了 R-Frontier 部门的伊藤贵弘、森田光典两位研发人员，披露了CUE人形机器人的最新进展。

伊藤贵弘现任丰田 R-Frontier 人形机器人团队运动控制 / 全身动力学核心工程师、研究员，主攻双足行走稳定、力矩控制与 MPC 模型预测控制，参与 T-HR3 及下一代人形平台研发。加入丰田仅一年多，便成为运动控制方向核心研究者。

森田光典同为该团队研究员，主攻机器人学习、行为生成与模仿学习，擅长从人类示范和大规模数据中学习通用操作技能，聚焦人形机器人手眼协调与灵巧操作。

01.

强化学习+Sim2Real：丰田机器人的动作训练底层逻辑

伊藤贵弘认为，人形机器人要自主掌握复杂动作，强化学习是当下最有效的路径。

它和监督学习不同，不需要大量标注好的完美轨迹，本质是让 AI 在环境里不断试错，根据奖励机制调整行为，最终收敛到最优策略。

实验中使用的测试机的模拟环境（左图）用于虚拟仿真训练。使用实际设备（右图）进行评估。

而让这套方案真正具备工程价值的，是 Sim2Real（仿真到现实）。先在虚拟环境里让机器人跑完海量场景与极端工况，再把训练好的模型迁移到实体机器人上。这能大幅减少真机损耗、缩短训练周期，也是目前全球人形机器人落地的主流技术路线。

丰田的思路和国内头部人形机器人企业基本一致：用仿真补足数据不足，再靠产品迭代解决仿真偏差问题。

02.

走路这件事：仿真1-2小时学会，真机磨了无数轮

行走是人形机器人的基本功，却是工程上的老大难。丰田团队把强化学习完整嵌入行走控制。

他们在仿真里设置了很简单的奖励规则：朝着目标速度走就加分，滑倒、失衡就扣分。为了加快训练，团队直接在仿真中并行跑上千个机器人实例，同步学习、同步迭代。

测试结果显示，只用 1–2 小时，虚拟机器人就学会了前进、后退、转弯，能维持基本平衡。

但模型一搬到真机上，问题就立刻暴露出来。

森田光典坦言，仿真和现实之间存在一道很难跨越的鸿沟：同样的控制指令，虚拟里流畅自然，真机上却会抖动、拖脚，甚至突然失稳。这也是行业普遍头疼的 “仿真-现实差距”。

为了填平差距，丰田研究团队同时用了两套技术方案。

Real2Sim：优化模拟器的执行器模型，使其与真实世界数据相匹配。

第一套是域随机化：人为给编码器、IMU 等传感器加噪声，随机改变地面摩擦力，让机器人在 “不完美环境” 里训练，提升策略鲁棒性。

第二套更硬核：Real2Sim 实物反哺仿真。用真机关节电机的实际运行数据，反向校准仿真模型。静摩擦、动摩擦、粘性摩擦、转动惯量，全都通过黑箱优化一一匹配，让虚拟执行器的行为无限贴近真实硬件。

即便这样，真机验证仍是漫长的循环。

每训一个新模型，都必须上真机测试。走不稳，就分析问题、改奖励、重训，再放回真机验证。一圈圈迭代下来，原型机才真正实现稳定行走，甚至被推动时也能稳住姿态不摔倒。

03.

比走路更难的运球：时机转瞬即逝，奖励根本没法手工调

如果说行走只是控制机器人自身，运球还要同时兼顾动态球体，难度直接上了一个台阶。

研发这项技术，主要是为丰田的 AI 篮球机器人 CUE 做铺垫。CUE 最早由丰田工程师志愿者发起，后来归入 R‑Frontier 部门，是一款专用投篮机器人，主打高精度投射技术验证，并非通用服务型机器人。它和 T‑HR3 及下一代人形平台共用底层运动控制技术，但定位不同。项目始于 2017 年，灵感来自《灌篮高手》，现已迭代到 CUE6。

CUE 身高约 2.08 米，依靠全身动力学、力矩控制、MPC 模型预测控制和 AI 视觉感知，实现篮筐定位、弹道计算与实时姿态修正，能完成罚球、三分甚至超远投篮。凭借稳定的闭环控制，CUE 已拿下两项吉尼斯纪录：连续罚球 2020 次命中、24.55 米超远投篮命中。

伊藤贵弘说，运球和行走的控制逻辑完全不一样。行走时双脚支撑的时机相对宽松，可运球时触球只有一瞬间，时机稍差就失败。球一直在动，不会等机器人，对感知、预判和控制精度要求极高。

团队最先卡在奖励函数设计上。森田光典表示，行走的奖励机制有很多成熟参考，很好定义；但运球要控制球速、方向、持续接触，手工设计奖励不仅费劲，还容易让动作僵硬不自然。人工反复调参，效率低、容错也差。

他们最终放弃手工设计奖励，改用模仿人类运动的思路。团队用动作捕捉记录人类自然运球的全过程，把关节角度、运动速度等数据映射到机器人的骨骼结构和运动范围，以人类动作为参考目标。机器人动作越接近，奖励越高。

这种方式不用设计复杂指标，还能直接从人体数据里拿到精准触球时机，让机器人在正确时间击球。最终训练出的运球动作流畅、接近人类，还能在真机上稳定复现。

04.

Sim2Real 运球再遇坎：视觉识别误差险些毁掉全部训练

运球环节，仿真到现实的迁移又遇到了新问题。

在仿真里，系统能直接拿到球的精准位置和速度；但现实中，机器人只能靠头部摄像头加识别算法去估算。误差、延迟都会严重影响动作，导致仿真里完美的策略，一上真机就失灵。

团队没有死磕算法优化，而是选择把现实误差直接搬进仿真。

他们用动作捕捉测出真实环境里视觉识别的误差和延迟，把这些特性写进仿真的观测模型，让虚拟训练环境和现实保持一致。这一调整后，运球动作终于成功从仿真迁移到真机。

05.

未来规划：先落地 CUE，再打造通用机器人框架

对于后续计划，伊藤贵弘表示，近期目标就是把行走和运球能力迁移到 CUE 篮球机器人上。先把整套学习框架部署到 CUE，实现稳定运球，再逐步提升动作的流畅度与观赏性，接近人类篮球运动员的表现。

森田光典则看得更远并表示：团队会聚焦通用人形机器人控制框架，不只依赖强化学习，而是融合多种技术，打造能像人一样应对多样任务、适应复杂环境的通用平台。