端到端纯视觉！OpenAI押注的人形机器人献艺拜年了

衡宇 白交 发自 凹非寺
量子位 | 公众号 QbitAI

大过年的，OpenAI投资的人形机器人，通过最新视频拜年了（doge）

有俩人上来就表演了一个从货架取包裹，转身放进筐里：

镜头继续推进，旁边靠墙的两个机器人，在不停地将俄罗斯方块积木举起-丢下-再举起。

另一边，充好电的机器人，温柔地拔掉插销，微微半蹲，把插头放到指定位置。

旁边还来了个赶来充电的家伙：

一个小房间内，面带笑容的机器人缓缓前进，然后流畅地捡起地上的公仔，放回了玩具筐。

最后，镜头跟随一个导游机器人，在场地里巡逻了一圈，刚才介绍到的机器人们还在各司其职，干自己的事情。

官方表示，这个视频一、镜、到、底——

机器人们发出的每一个动作行为，都基于视觉神经网络端到端控制。

并且视频原本速度播放，无加速、无剪辑、无远程操控。

有网友对这样拟人仿真效果挺满意：

不会吧不会吧，你不会还在等有人拉开机器人背后的拉链，然后摘下头盔，走下平衡车吧！

想知道这是怎么做到的？

官方“啪”地摔出了一份资料，把原理透露了一波。

来吧，展示

为了让自家人形机器人被充分开发利用，背后公司——1X Technologies（简称1X），从去年起开始追求最通用的方法，即使用视觉神经网络，让机器人端到端地学习运动行为。

官方释出视频中，每一个机器人的行为，都由10Hz频率的视觉神经网络控制。

它主要控制机器人们的前进、手臂、躯干和头部。

该视频不包含远程操作，没有计算机图形，没有剪辑，没有视频加速，没有脚本轨迹回放。
这一切都是通过神经网络控制的，都是自主的。

据介绍，有30台机器人出演了这次展示视频（目前，全公司共有50台该型号机器人）

为了训练生成视频中展示行为的机器学习模型，1X团队在这30台机器人中组装了一个高质量、多样化的演示数据集。

这些数据被用来训练出一个基础模型，这个模型可以理解广泛的身体行为，比如清洁整理房屋、拾捡物品、和人类or其他机器人社交。

然后，团队对基础模型进行微调，让它成为更具体的功能系列，比如用于一般门操作的模型、用于仓库任务的模型。

再然后，再微调已经微调过的模型，让它生成的行为和特定任务（如打开特定的某道门）保持一致。

这样的训练方式，让团队能够在台式机的GPU上进行几分钟的数据收集和培训，从而让模型掌握新技能。

更重要的是，这样的方式，让机器人不受AI工程师数量的限制，就能学会短期移动操作技能。

本次展示出场的机器人是1X公司的初代产品，名叫EVE（夏娃），专为工作环境设计，主要用于工业、物流、零售和安全领域。

EVE从头到腿是人形，然后用双轮替代人类的双脚。

它高1.86米，重86公斤，最高时速14.4公里，承载能力15公斤，续航6小时。

虽然没有直接喊话过，但由于设计和业务高度重合，EVE被业内默认为对标马斯克的特斯拉机器人Optimus。

去年5月，Firstpost消息显示，EVE在一场人形机器人比赛中，击败了Optimus。

1X首席执行官兼创始人Bernt Bornich表示，目前，EVE已经上岗打工，在欧美部分地区投入商业化应用，至少两个工业场所都部署了EVE来负责保安工作。

今年年初，1X还在挪威首都奥斯陆的一个火车站出现，给往来旅客倒咖啡。

网友们倒是挺认可EVE的灵活程度：

但也有人提出了一些尚待解决和思考的问题：

一是稳定性，二是通用性，三是需要庞大的数据来训练。

背后公司是谁？

EVE背后的是一家挪威公司1X，成立于2014年，前身为Halodi Robotics。

该公司专注于创造能够进行类似人类运动和行为的人型机器人，并在实际场景中部署。

特别提一下，1X的现任产品负责人是Eric Jang。

Eric Jang毕业于布朗大学计算机科学专业，毕业后在Google X工作了6年，担任机器人高级研究科学家。

2022年4月，Eric加入了1X，领导AI部门。

2022年起，1X就和OpenAI在机器人AI模型方面有所合作；目前，EVE的部分功能就由ChatGPT提供支持。

到了去年3月，1X正式有了OpenAI“撑腰”——获得由OpenAI创业基金领投的2350万美元融资，投后估值约为1-2亿美金。

这也是OpenAI投资的第一家硬件公司。

OpenAI的COO Brad Lightcap曾公开坦白：“投资1X瞄准的时机是其机器人硬件已经成熟，能够在AI的加持下，开拓更广泛的劳动力市场。”

不过Eric Jang也发话了，1X没有和OpenAI独家绑定。

我们还在测试别家的大模型，然后自己也在做一些动作和任务的小模型。

去年公布2轮融资的1X，很快又在上个月，官宣完成了1亿美元的B轮融资。

这笔钱不仅用来扩大具身智能的数据收集战略，另一个去处是加强NEO机器人的市场推广。

没错！除了EVE，1X还在加班加点研制第二代机器人NEO（取用了《黑客帝国》主角的名字）。

和EVE的轮式人形不同，NEO是纯·人形机器人，双脚上有55个自由度，可以自由行走。

有腿之后，NEO可以说是完全按人类的外形和运动方式设计：

有头、身体、手臂和腿，会走路、抓东西，并通过面部表情沟通。

同时它采用了高扭矩关节，与传统的高性能齿轮动力相比，在控制、兼容、力量输出、韧性、维护等方面全面得到增强。

目前，NEO还处于研发阶段，但官网宣称该型号已经可以自然准确地穿门、爬楼梯。

1X官方说法是，计划在今年正式发布NEO，并进行量产。

不知道有了双脚的1X人形机器人，还能不能对马斯克的Optimus遥遥领先？

等待看戏.jpg