学术分享丨混合脑机接口控制机械臂

随着学会的队伍不断发展壮大，分支机构的发展愈发完善，丰富多彩的分支活动与学术分享也频频呈现。今年以来，CAAI认知系统与信息处理专委会积极倡导学会“疫情防控不放松，学习充电不间断”的理念，邀请年轻学者结合本专委会自身领域研究精选相关文献进行研究与再解读，本期与大家分享《混合脑机接口控制机械臂》。

近年来，脑机接口在辅助机器人和康复工程方面的应用日益广泛，现有的为位置控制应用程序设计的脑机接口存在两个基本限制。首先，现有的方案大多采用开环控制，因此无法跟踪位置误差，导致无法采取必要的在线纠正措施。有一些基于脑电图(EEG)的位置控制的工作虽然采取了闭环控制，但现这些脑诱导闭环位置控制方案采用的是固定顺序的连杆选择规则，这往往造成瓶颈，阻碍了有效的控制。

其次，现有的脑诱导位置控制器被设计成像传统的一阶系统一样产生位置响应，导致较大的稳态误差。IEEE/CAA JOURNAL OF AUTOMATICA SINICA上发表了“A Hybrid Brain-Computer Interface for ClosedLoop Position Control ofa Robot Arm”，文中通过稳态视觉诱发电位(SSVEP)实现任意的选择连杆以达到有效控制，并生成位置控制系统的二阶响应，逐步减少过射/欠射，以减少稳态误差，从而克服了上述两个限制。文中还提出了利用运动想象（MI）和P300信号来设计混合脑机接口系统，通过在位置误差的零交叉处使用速度反转来逐渐减少误差裕度。

1. 系统概述

本文提出了一种新的三维空间中的机器人末端执行器位置控制策略。这里使用的机械臂有6个自由度，在任意方向上最大可达580毫米。所有关节的框架分配以及围绕z轴的正角运动的方向都在图1中显示出来了。

图1 六连杆机器人手臂的框架分配图

目前的工作只使用机械臂的前三个连杆，L1、L2和L3。图2给出了完整的位置控制方案。这里使用了三种不同的大脑信号，包括SSVEP、ERD/ERS和P300来控制机器人手臂在其工作空间中的位置，其中，ERD/ERS为实验对象进行运动想象时所产生的，分别为事件相关去同步化(ERD)和事件相关同步化(ERS)，来自运动皮层的mu和beta节律。接下来将详细阐述该过程的关键步骤。

图2 提出的位置控制方案的基本框图

A. 通过检测SSVEP进行连杆选择

已有的脑机接口控制机器人的研究采用固定顺序的连杆选择，即无论末端执行器的目标位置如何，机器人都遵循固定的时间序列进行连杆选择。在许多实际的位置控制应用中，需要根据用户的选择进行动态的连杆选择，以提高位置控制任务的速度和精度。本文旨在建立连杆选择的动态顺序。动态连杆选择的一个根本障碍是在选择当前连杆时缺乏与机器人的交流。文中通过将不同闪烁频率的发光二极管(LED)连接到各个连杆上解决了这一问题。实验对象需要盯着一个带着LED的连杆，连杆上的LED以固定的频率闪烁，从而使实验对象释放一种特殊的大脑信号，叫做SSVEP。SSVEP会根据实验对象观察到的LED的闪烁频率调整频率，并且在特定的LED闪烁频率下产生一个很大的振幅。

B. 通过MI解码控制连杆运动

实验对象选择了一个连杆后，表明被试更愿意使用MI信号激活该连杆进行顺时针/逆时针旋转。利用ERD/ERS MI信号引导连杆向所要求的方向运动。由于四肢和大脑之间的反向连接，ERD/ERS由左运动皮层用于右运动想象(RHMI)和右运动皮层用于左手运动想象(LHMI)来释放。假设受试者想通过RHMI顺时针移动连杆，通过LHMI逆时针移动连杆。因此，从右(左)脑叶检测LHMI (RHMI)是有效解码MI的首选方法。

C. 通过P300的识别实现连杆与目标对准

一旦被试的大脑释放了MI信号，机器人的一个被选中的连杆就开始顺时针/逆时针转动，因此，从检测到ERD/ERS信号开始计算，末端执行器/连杆会在某一时间点穿过固定的(预先定义的)目标位置。这种末端执行器/连杆穿过目标位置的现象对被试者来说是一种罕见的刺激，导致他/她释放P300信号。换句话说，在当前背景下，P300信号从受试者的大脑释放，是末端执行器/连杆穿过目标位置的明确表示，因此需要纠正行动。在这里，释放的P300作为校正反馈给脑机接口系统，使机器人连杆沿当前运动方向的相反方向，角速度逐渐衰减。这个过程一直持续到连杆的角速度(或线速度)低于用户定义的阈值为止。速度的持续降低和目标点周围运动的逆转能够有效地减少峰值超调量和稳态误差。

2. SSVEP, ERD/ERS以及P300的解码

本节讲述处理脑电图信号的步骤，最终目的是识别脑机接口信号:SSVEP、MI和P300。SSVEP信号来源于枕叶的视觉皮层区域。国际10-20电极放置系统的O1和O2电极距离用于SSVEP解码的脑区最近。另一方面，MI信号的起源是顶叶皮层和感觉运动皮层区域。离该区域最近的电极为C4、C3、Cz、P3、P4、Pz。因此，这6个电极被用于MI信号分类。最后，P300信号以较大的振幅出现在脑中线上方，从而便于使用Fz、Cz和Pz电极对其进行识别。因此，本文中Fz、C3、C4、Cz、P3、P4、Pz、O1、O2共9个电极用于脑电图信号采集。电极分布如图3所示，蓝色圆圈表示本文所选择的电极位置。

图3 国际10-20电极放置系统

采集后的脑电图数据采用公共平均参照(CAR)进行空间滤波，去除均匀分布在所有脑电电极上的共模噪声，包括热噪声、电力线干扰、不需要的生理信号等。在这里，所有通道的采样平均是减去每个通道在每个时刻的信号样本。虽然存在其他复杂的去除噪声和伪影的方法，但由于CAR的计算开销较其他现有的滤波算法低，因此本文选择了CAR。

A. SSVEP的检测

将经过CAR空间滤波的脑电信号通过通带为0.1 - 30hz的带通滤波器，采用通带纹波1db、阻带衰减60db的六阶椭圆滤波器实现。为了检测SSVEP，本文采用自回归(AR)光谱估计的Yule Walker方法，利用输入信号的AR模型来确定功率谱密度（PSD）。之后使用特征选择算法将特征集进一步缩减为一个小的集合。最后采用三阶线性支持向量机分类器进行SSVEP分类。

B.ERD / ERS的检测

经过CAR空间滤波的脑电图试验，再采用通带为8 - 24hz的带通滤波器进行滤波。采用通带纹波1db、阻带衰减60db的六阶椭圆滤波器实现。之后采用公共空间模式(CSP)提取特征，这里作者提出了两种改进版csp：FBCSP和MPCSP。最后采用二级径向基函数核化支持向量机(RBF-SVM)分类器进行分类，第一阶段对脑电试验中存在或不存在MI时的特征向量进行分类。第二阶段在发现含有MI的特征向量中再分为LHMI和RHMI。

C.P300的检测

将经过CAR空间滤波的脑电信号通过通带为0.1 - 10hz的带通滤波器，采用通带纹波1db、阻带衰减60db的六阶椭圆滤波器实现。以自适应自回归参数(AAR)作为脑电试验的特征。使用基于粒子群算法的特征选择算法提取特征。最后使用LSVM分类器进行分类。

3.实验和结果

实验中选取了10名志愿者为实验对象，实验设备为日本科登公司生产的19道脑电图装置，用于从被试身上获取脑电图信号。电极的放置按照标准的10-20电极放置系统进行，该系统使用A1和A2作为参考电极，FPz作为公共接地(图3)。内置的50hz频率的陷波滤波器消除了电功率线的干扰。该装置以200hz的采样率采集脑电图信号。

A. 训练会话

训练借助power-point (PPT)以离线模式进行。第一张幻灯片包括一个固定交叉十字架，使被试对刺激器警觉。第二张幻灯片包括安装在机器人手臂的一个连杆上的闪烁光源，以帮助受试者以源频率重现SSVEP。该模拟器包括一个3连杆机器人手臂，每一个都提供了在不同的频率闪烁的LED，最终目的是通过主体产生的SSVEP频率选择连杆。受试者被要求注视安装在机器人连杆上的闪烁的光源。一旦识别了SSVEP，与此SSVEP对应的连杆就会用高亮的绿色显示。第三张幻灯片包括命令受试者要分别为连杆顺时针/逆时针旋转生成左/右的运动想象。最后一张幻灯片包含一个虚拟场景，其中一个特定的机器人连杆穿过了一个固定的目标。被测物体在观察到这一点时，预计会产生一个P300信号。以上四个幻灯片的顺序在一周内重复60次。在图4中给出了训练过程的一个典型实例，其中包括一个刺激演示，随后是响应刺激的机器人动作，第一行和第二行均从左到右进行。

图4 一个典型控制任务（拾取小球）

B. 测试会话

训练与测试的根本区别在于，训练是在模拟模式下进行的，而测试是与真实机器人在线进行的。虽然区别很小,但测试会话通常比较复杂。一共有三个操作步骤:通过SSVEP选择连杆, 通过MI移动选中的机器人手臂以及通过P300观察位置误差(连杆穿过目标位置)。

C. 解码器性能的分析

本文提出了三种不同的方法来解码三种不同的脑电图信号:SSVEP、MI和P300。为了评估这些解码器的性能，我们采用了5个著名的性能指标，分别是分类准确率(CA)、真阳性率(TPR)、假阳性率(FPR)和计算时间(CT)和Cohen’s kappa (是一个比分类准确率百分比更稳健的参数)

1)MI的几种分类器之间器的比较

表1显示了基于CSP的MI解码器的性能评估结果，该解码器需要识别连杆运动的期望方向。从表中可以看出，MPCSP+RBF-SVM在分类准确率上比最接近的FBCSP+LDA领先1.3%。虽然时间上，MPCSP比经典CSP训练要用更久的时间，但对于实时应用而言，训练时间的影响并不大。

表1 MI的不同分类器之间的比较

2)SSVEP,MI以及P300的解码器性能分析

从表2可以看出，SSVEP解码器的平均CA、TPR、FPR、CTs、kappa分别为95.9%、0.92、0.04、0.091s、0.91，MI解码器的平均CA、TPR、FPR、CT s、kappa分别为98.1%、0.93、0.04、0.422s、0.89，P300解码器的平均CA、TPR、FPR、CT s、kappa分别为95.3%、0.90、0.03、0.1081s、0.89。

表2 SSVEP、MI以及P300的分类结果

4. 结论与展望

本文提出了一种机器人末端执行器位置控制的新方法，即合理地控制手臂各位置的连杆。用户可以自由的选择要控制的连杆。单个连杆的选择是由用户通过注意连杆上闪烁的LED来执行的。除了基于脑机接口的连杆选择之外，文中的工作还包括基于ERD/ERS的运动规划，以及P300诱导的自动停止和速度反转。未来的工作可能会(1)设计替代控制的策略以减少主观认知负荷；(2)改进分类器的设计，特别是MI分类器；(3)消除伪影，开发鲁棒的、对噪声不敏感的基于脑机接口的控制系统。

本文由CAAI认知系统与信息处理专委会供稿