网易首页 > 网易号 > 正文 申请入驻

新型机器人模型仅凭一次3–12秒的演示就能学会物理技能

0
分享至

一款新型机器人基础模型只需看一次持续3到12秒的演示,就能学会执行实体操作任务,然后无需任何梯度更新或微调,就能直接尝试做这个任务。

GEN-1.5 由 Generalist AI 研发,它的设计目标是直接从真实物理示例中学习,无需工程师针对每个新任务重新训练模型。该公司表示,该模型能通过一段简短的感知—运动演示,推断出自己该做什么,然后马上自己上手尝试。

在10项实体操作任务的测试里,只给它看一次演示时,GEN-1.5 的平均成功率达到59%。再用上5分钟针对该任务的数据、跑10个梯度步骤后,其平均成功率提高到83%。

这些任务故意设计得很简单、很短。这些任务包括:拧开玻璃罐盖子、从钱包里拿钱、摞杯子、扫垃圾、翻开书、拉开笔袋拉链,还有把真空吸盘取下来。

机器人靠物理提示学习

GEN-1.5 是一个大型多模态模型,能处理视频,以及传感器数据、语言数据和本体感觉数据。它能在上下文中保留最近 30 秒的信息,并以每秒 100 次的频率生成动作轨迹。

演示本身,就是 Generalist AI 所说的“物理提示”。这种演示可以由人使用手持夹爪来做,也可以由机器人完成任务来产生。把示例放进模型的上下文窗口后,机器人不用先经过训练,就能试着完成这个任务。

该公司表示,他们并没有专门训练 GEN-1.5 去做上下文学习。公司也没有做架构改动、没有加元学习循环,也没有设置旨在让模型即兴发挥的额外目标。

这就让报告中的结果跟传统机器人训练不太一样:传统训练里,一个新任务可能需要大量针对具体任务的数据,还得反复优化。

GEN-1.5 还能把物理提示组合起来。在一次演示中,模型分别看到了两个示例:一个是拉开笔袋拉链,另一个是从里面取钱。然后它把这两个动作串成一段连续动作,中间还生成了重定位(调整位置)和恢复动作,而这些动作在两个示例里都没有出现。

一次演示,多种解法

这个模型还显示出能举一反三的迹象——不只是照搬它见过的具体动作。在仿真环境里录下的一段演示,也能用来引导真实机器人,尽管模型预训练时压根没用过仿真数据。机器人最后做出来的动作,还能适应不同的手型,以及物体位置和大小的变化。

在另一项测试中,有人亲手演示了一项任务,机器人的摄像头能清楚看到整个过程。随后,机器人用自己的机械手照着做了一遍。

Generalist AI 还测试了模型只用少数几个梯度步骤微调时表现如何。GEN-1.5 只用一到五分钟的数据,就能在 1 到 10 步内适应新任务,差不多相当于 10 到 50 次示范。

这个模型有时还能举一反三,做出示范里没教过的动作。它学会用刷子把积木块扫进碗里后,给它一根香蕉,它就拿香蕉当临时刷子用。给它一个簸箕,它又想出了另一招:用簸箕把积木块铲起来,再倒进碗里。

这家公司说,这些行为体现了一种不同的机器人编程思路。以后用户不用给每个新任务写详细指令,只要示范一下自己想要的效果,让机器人自己去琢磨具体动作细节。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
前10月全国税收收入增长6%,其中个税收入增长22.9%

前10月全国税收收入增长6%,其中个税收入增长22.9%

风向观察
2026-11-20 18:17:34
江苏男子撞破妻子出轨,熟睡中被灌进水泥,真相让人后背发凉

江苏男子撞破妻子出轨,熟睡中被灌进水泥,真相让人后背发凉

夜话奇谭
2026-11-20 14:50:59
武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

极目新闻
2026-11-20 15:01:38
山东省原副省长闫剑波,辞去山东省委委员职务;今年9月已跨省任厦门代市长;曾任禹城市委书记、济宁市委副书记、威海市委书记等职

山东省原副省长闫剑波,辞去山东省委委员职务;今年9月已跨省任厦门代市长;曾任禹城市委书记、济宁市委副书记、威海市委书记等职

极目新闻
2026-11-20 18:40:29
邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

扬子晚报
2026-11-20 15:04:57
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
沪指跌超2%,最低探至3500.88点

沪指跌超2%,最低探至3500.88点

澎湃新闻
2026-11-20 11:39:12
人事|孙珊任上海市规划和自然资源局局长

人事|孙珊任上海市规划和自然资源局局长

上观新闻
2026-11-20 19:23:37
美国若在G20峰会期间举行第二次三国元首会晤中方将如何回应?外交部回应

美国若在G20峰会期间举行第二次三国元首会晤中方将如何回应?外交部回应

澎湃新闻
2026-11-20 17:06:06
创业板指跌逾3% 下跌个股近5200只

创业板指跌逾3% 下跌个股近5200只

财联社
2026-11-20 10:25:04
越来越多孩子自杀  多地高中严格执行周末双休

越来越多孩子自杀 多地高中严格执行周末双休

风向观察
2026-11-20 07:40:00
南京一全季酒店顶楼突然塌陷 房客一觉醒来透过缝隙看到了天空

南京一全季酒店顶楼突然塌陷 房客一觉醒来透过缝隙看到了天空

信网
2026-11-20 19:26:08
不止感谢中国!普京会上另提一事,已有8伙伴力挺,中方也在其中

不止感谢中国!普京会上另提一事,已有8伙伴力挺,中方也在其中

云上乌托邦
2026-11-19 12:48:01
太和县公安局李兴派出所一级警员李鹏被查

太和县公安局李兴派出所一级警员李鹏被查

阜阳发布
2026-11-19 22:16:52
特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

天光破云来
2026-11-20 13:12:25
突发!台积电收紧对华AI芯片代工

突发!台积电收紧对华AI芯片代工

EETOP半导体社区
2026-11-20 08:17:23
为什么国家越来越强,我们的日子却越来越紧

为什么国家越来越强,我们的日子却越来越紧

小禾的半糖生活
2026-11-18 13:20:03
全面下跌,何时见底?

全面下跌,何时见底?

星图金融研究院
2026-11-20 15:37:21
两男子半夜抢劫杀害招待所同屋住客,潜逃27年落网即将受审,死者女儿:父亲是来看我的,他被害后我内疚多年

两男子半夜抢劫杀害招待所同屋住客,潜逃27年落网即将受审,死者女儿:父亲是来看我的,他被害后我内疚多年

极目新闻
2026-11-20 19:13:17
阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

互联网大观
2026-11-20 13:49:45
2026-11-20 20:08:49
生活魔术专家
生活魔术专家
里是「生活百科全书」,汇集了独特的生活小妙招和所见所得,让你轻松发现生活的美好与智慧
874文章数 8651关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
教育
家居
公开课
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版