斯坦福大学李飞飞、吴佳俊团队联合提出全新脑机系统，用大脑控制机器人做各类操作任务

在科学家、工程师和艺术家们的设想中，大脑-机器人接口(Brain-Robot Interface, BRI)是一个令人兴奋而又充满挑战的研究课题，它代表着未来人与机器人和谐共存的桥梁。该课题目标是创造能够与人类完美协同合作的机器人系统。我们希望利用最近在机器学习、神经科学和机器人学习方面取得的进展，构建新颖的脑-机器人接口系统：

在该项研究中，斯坦福大学研究者提出了神经信号操作智能机器人(Neural Signal Operated Intelligent Robots,NOIR)，这是一个通用的大脑--机器人接口(Brain-Robot Interface, BRI)系统，使人类可以通过大脑信号来命令机器人执行日常活动。通过这个脑--机器人接口，人们可以使用脑电图（EEG）技术来传递他们感兴趣的目标和行动，实现与机器人进行交互。

下面我们看一下NOIR 系统

NOIR 系统由两个部分组成，一个是从人脑信号中解码目标的模块化管道，另一个是拥有原始技能库的机器人系统。机器人具有学习预测人类预期目标的能力，从而减少了解码所需的人力。

从脑电图EEG中解码人类意图

NOIR 采用模块化管道从脑电信号中解码人类的预期目标：(a)使用 CCA 分类器从 SSVEP 信号中解码要操作的对象；(b) 如何与物体互动，使用 CSP+QDA 算法从 MI 信号中解码；(c) 在哪里互动，从 MI 信号中解码。通过捕捉下颌紧咬产生的肌肉张力的安全机制来确认或拒绝解码结果。

具有参数化原始技能的机器人

人类的意图可以映射到 14 种参数化的机器人技能，如 Pick(x,y,z)、Place(x,y,z) 和 Push(x,y,z,d)。人类发现了这些技能的新用途，并将其结合起来完成艰巨的任务。

机器人学习提高 BRI 效率

研究人员利用机器人可以通过少量镜头学习人类选择的对象、技能和参数，因此，当人类在相似的环境中执行相同的任务时，可以减少人类的精力和时间。

我们基于检索的对象和技能选择模型如下所示。它可以学习观察结果的潜在表征。给定一个新的观察结果后，它会在记忆中找到最相关的经验，并选择相应的技能和对象。

我们的单次技能参数学习算法如下所示。它能根据训练图像中的参考点，在测试图像中找到语义对应点。特征可视化显示了所使用的 768 个 DINOv2 标记中的 3 个。

实验和结果

通过 NOIR，3 名人类参与者（2M1F）完成了 20 项长视距任务（4-15 项技能）的日常活动。其中 16 项活动（No.2 - No.17）是使用 Franka 的桌面操作任务，4 项活动（No.18 - No.21）是使用 Tiago 的移动操作任务。这些任务包括 8 项做饭任务、6 项清洁任务、3 项个人护理任务和 3 项娱乐任务。

量化结果

每个任务平均需要尝试 1.8 次才能成功，任务完成时间为 20.3 分钟。任务范围是指执行原始技能的平均次数。尝试次数 # 表示直到第一次成功为止的平均尝试次数（1 表示第一次尝试成功）。时间表示在成功尝试中完成任务的时间。人类时间是指人类用户花费的时间占总时间的百分比，其中包括决策时间和解码时间。

实验不同阶段的解码准确率。与几乎所有 BRI 研究一样，解码时间和准确性是关键挑战。

通过机器人学习算法，对象和技能选择学习可将解码时间缩短 60%，参数学习可将光标移动距离缩短 41%。

论文题目:
NOIR: Neural Signal Operated Intelligent Robots for Everyday Activities

论文链接:
https://openreview.net/pdf?id=eyykI3UIHa

项目地址:
https://noir-corl.github.io/

—— End ——

仅用于学术分享，若侵权请留言，即时删侵！

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBrain【备注：姓名+行业/专业】。

欢迎来稿

1.欢迎来稿。投稿咨询，请联系微信：RoseBrain

2.加入社区成为兼职创作者，请联系微信：RoseBrain

一键三连「分享」、「点赞」和「在看」

不错每一条脑机前沿进展 ~