你有没有想过,机器人也能像人类一样,通过“看”来学习如何完成任务?这项看似科幻的场景,正逐渐变为现实!纽约大学和加州大学伯克利分校的研究人员,近日开发出一种名为“EgoZero”的创新方法,让机器人能够通过佩戴智能眼镜的人类视角视频,高效学习各种日常操作,大大简化了机器人训练的复杂性!
传统的机器人训练往往需要复杂的设置和昂贵的硬件,而且数据收集过程耗时耗力。而“EgoZero”方法则将这一过程变得异常简单和透明:只需让人类佩戴一副智能眼镜(例如Meta的Project Aria智能眼镜),以第一人称视角录制视频,就能轻松收集到高质量、带有动作标签的日常任务演示数据。更厉害的是,这些数据甚至可以在人们的日常生活中随时随地收集,无需专门的实验室环境。
Meta的Project Aria智能眼镜配备了RGB摄像头和SLAM(同步定位与地图构建)摄像头,能够从佩戴者的视角捕捉视频。通过这种极简的设置,佩戴者可以轻松记录下各种日常任务,比如打开抽屉、把盘子放进水槽、从架子上取下盒子等等。
这项技术的关键在于,EgoZero系统能够将捕捉到的视频数据,转换为与形态无关的3D点云表示。这意味着,无论演示者是五根手指的人类,还是两根手指的机器人,系统都能抽象出行为本身,使其能够泛化到不同的物理形态。这些紧凑的表示随后可以用于训练机器人策略,使其能够自主执行任务。
在实验中,研究团队利用EgoZero数据训练了一台配备夹具的Franka Panda机械臂,并在七项操作任务上进行了测试。令人惊叹的是,每项任务仅需20分钟的人类演示数据,且无需任何机器人特定的数据,机械臂就达到了70%的平均成功率!这对于物理世界中的“零样本学习”来说,是一个令人印象深刻的性能水平。
这项突破性技术,有望彻底改变机器人训练的方式,使其变得更加高效、便捷和可扩展。未来,机器人将能够更快速地学习和适应各种复杂的任务,从而在更多领域为人类提供帮助,例如在家庭服务、物流仓储、医疗辅助等。
你对这种通过智能眼镜训练机器人的方式感到惊讶吗?你认为这项技术未来最有可能在哪些领域发挥巨大作用?你期待机器人能通过这种方式学习哪些日常任务?欢迎在评论区分享你的观点,并将这篇文章分享给更多关注人工智能和机器人技术的朋友们!
参考资料:DOI:10.48550/arxiv.2505.20290
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.