北京
GEN-1.5 从单次3–12秒演示中学习物理任务，无需梯度更新或微调。
一种新的机器人基础模型能够从仅持续3到12秒的单次演示中学习物理任务，然后在没有任何梯度更新或微调的情况下尝试该任务。
GEN-1.5 由 Generalist AI 开发，旨在直接从物理示例中学习，而不是要求工程师为每项新工作重新训练模型。该公司表示，该模型可以从短暂的感觉运动演示中推断出应该做什么，并立即自行尝试任务。
在10项物理任务的测试中，仅给一次演示时，GEN-1.5 的平均成功率达到59%。使用五分钟的任务特定数据和10个梯度步骤后，其平均成功率升至83%。
这些任务被有意设计得简单且短暂，包括拧下玻璃罐盖子、从钱包里取钱、叠杯子、扫垃圾、打开书、拉开笔袋拉链以及取下真空吸盘。
机器人通过物理提示学习
GEN-1.5 是一个大型多模态模型，可处理视频以及传感器、语言和本体感觉数据。它在上下文中保持30秒的信息，并以100 Hz的频率生成动作轨迹。
演示本身充当 Generalist AI 所称的“物理提示”。它可以来自使用手持夹爪的人，也可以来自执行任务的机器人。一旦示例被放入模型的上下文窗口中，机器人就会在没有训练阶段的情况下尝试任务。
该公司表示，它并未专门训练 GEN-1.5 来执行上下文学习。它也没有添加架构更改、元学习循环或旨在让模型即兴发挥的额外目标。
这使得所报告的结果不同于传统的机器人训练，在传统训练中，一项新任务可能需要大量任务特定数据和反复优化。
GEN-1.5 还可以组合物理提示。在一次演示中，模型分别获得了拉开笔袋拉链和从中取钱的示例。随后，它将这两种行为连接成一个连续序列，生成了两个演示中都不存在的中间重新定位和恢复动作。
一次演示，多种解决方案
该模型还表现出超越所见确切动作进行泛化的迹象。在仿真中录制的演示可以用来提示真实机器人，尽管模型的预训练不包含仿真数据。由此产生的行为能够适应不同的手以及物体位置和大小的变化。
在另一项测试中，一个人在机器人摄像头可见的情况下用自己的手演示了一项任务。然后机器人用自己的手复现了该动作。
Generalist AI 还测试了模型在仅用少量梯度步骤微调时的反应。GEN-1.5 可以使用一到五分钟的数据（相当于约10到50次演示），在一到十步内适应新任务。
该模型有时会超越所示内容。在学会用刷子把积木扫进碗里后，当给它一根香蕉时，它把香蕉临时当作刷子使用。给它一个簸箕时，它发展出另一种策略，用簸箕把积木铲起并倒入碗中。
该公司表示，这些行为指向一种不同的机器人编程方法。用户最终可以演示他们想要什么，让机器人自行解决物理细节，而不是为每个新任务编写详细指令。
如果朋友们喜欢，敬请关注“知新了了”！
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
