运动想象(MI)是驱动脑机接口(BCI)的一种重要范式,但 MI 心理活动不易控制或习得,MI-BCI的性能严重依赖被试 MI 的表现。因此 MI 心理活动的正确执行以及能力的评估和提高对MI-BCI 系统性能的提升及应用具有重要的甚至关键性的作用。然而,在MI-BCI 的研发中,已有研究主要聚焦于解码 MI 的算法,对 MI 心理活动的这三个方面没有足够的重视。本文针对MI-BCI 的这些问题进行详细论述,指出被试易把动觉运动想象执行为视觉运动想象;未来需要研发客观的、定量可视化的 MI 能力评估方法,并且需要研发有效的、训练时间短的 MI 能力提高方法,也需要在一定程度上解决个体之间和内部 MI 的差异性、共性和MI-BCI 盲问题。
引言
脑机接口(brain-computer interface,BCI)是一种变革性的人机交互[1-4]。在典型的 BCI 范式中,运动想象(motor imagery,MI)是一种重要的 BCI范式,MI-BCI 在运动功能障碍康复训练中具有重要的应用价值[5-7],也能用于脑控智能设备(如脑控智能机器人[8-9]),如图 1 所示。
在图 1 中,执行 MI 心理活动的人是整个 MI- BCI 系统的控制器,MI-BCI 的性能严重依赖于被试 MI 的表现。然而,MI 心理活动不易控制或习得,存在BCI 盲或操控 BCI 较差的被试[10]。因此,MI心理活动的正确执行、能力的评估和提高这三个方面的研究对 MI-BCI 系统性能的提升及应用具有重要的作用。迄今为止,已有的 MI-BCI 研究主要聚焦于解码 MI 的算法[11-13],对上述 MI 心理活动的三个方面研究不多或不够深入,也没有足够的重视,也少有文献对 MI 心理活动的这些内容进行阐述。本文针对 MI-BCI 的这些问题进行详细论述,指出存在的问题和需要注意的事项,并提出未来的研究方向。
图 1 MI-BCI 系统示意图
01
实际运动、动觉运动想象与视觉运动想象
肢体或身体其他部位的运动对人们的日常生活极为重要,运动功能的障碍或丧失会给患者的生活带来极大的不便[5-6]。MI-BCI 有望为运动功能障碍的患者提供可选的康复训练新方法[7,14-15],改善其与外界的交流。BCI 中的 MI 范式涉及肢体或身体其他部位运动的想象,大多数 MI-BCI 文献报道的是动觉运动想象(kinesthetic motor imagery, KMI),但实际上还有另一类 MI 是视觉运动想象(visual motor imagery,VMI)[16-17]。
1.1 实际运动的执行
在日常生活中,人们频繁地执行一些肢体或身体其他部位的运动(即实际运动的执行,motor execution,ME),如步行、左右手臂运动、左右手部运动、头部运动、眼球运动、面部肌肉运动、舌部运动、咀嚼或咬牙等,除此而外,也执行不同肢体的一些协调运动或复合运动,其方式具有多样性。一些肢体或身体其他部位的运动如图 2所示。
图 2 肢体和身体其他部位运动示例 a. 步行;b. 舌部运动;c. 眼动;d. 手臂伸曲;e. 脚前掌轻敲;f. 微笑;g. 穿针引线;h. 握拳;i.咬牙
当个体准备 ME 时,其中枢神经系统(central nervous system,CNS)会进行运动规划,即产生运动意图,特定的脑区或脑网络被激活[1-2]。之后,CNS 传出的运动控制信号通过外周神经系统被发送到相应的肌肉组织,产生相应的运动,如图3a 所示。运动的意图或想象可以通过BCI 进行探测,直接产生运动,而旁路肌肉组织不会被激活,如图3b所示。
在图 3a 中,CNS控制ME 通常包括三个阶段:运动准备和规划阶段、运动执行阶段和运动精确控制阶段[18]。这三个阶段分别诱发三种不同的电位:准备电位、运动电位和运动监测电位。CNS“自上而下”地把运动意图、执行和精确控制的指令传递给外周神经和肌肉以实现运动,运动的结果又通过肌肉和外周神经“自下而上”地传递到CNS,通过比较运动或动作的目标与系统的当前状态来控制动作,以达成运动的目标。
图 3 CNS 产生的基于肌肉的动作与基于 BCI 的动作相比较[1-2]a. CNS/肌肉系统;b. CNS/BCI 系统
1.2 动觉运动想象的执行
与上述 ME(可见的显式运动)相比,KMI要求被试以第一人称视角在心里感觉或排演自己肢体或身体其他部位的运动过程但不发生实际运动[16,19-20],即KMI 要求个体一方面在心里创建运动的心理表征和肌肉收缩的感觉,但同时又要阻止该动作实际发生[21],这是一种矛盾的对抗过程,是一种不自然的心理活动,不易执行和控制该心理活动[22]。
KMI能力的习得往往需要大量的训练,因为人们在日常生活中很少进行这种心理活动,从而缺少操控该心理活动的经验或技能,存在较严重的运动想象盲(MI illiteracy)[23]。在这里,运动想象盲主要是指没有MI 能力或者MI 能力很差的被试,即使经过训练也难以获得MI 能力[23]。图4a 为被试在心里执行握拳的KMI 示意图。
图 4 KMI 和 VMI 示意图 a. KMI 示意图;b. VMI 示意图
1.3 视觉运动想象的执行
还有一类 MI 是VMI,目前已有基于VMI 的BCI 研究[24-25]。VMI要求被试在心里可视化特定肢体或身体其他部位的动作,即被试应以第三人称视角在脑海中清晰地看到自己或他人特定肢体或身体其他部位运动过程的画面[26]。与需要大量训练的KMI 心理活动相比,VMI心理活动仅需要少量的训练,甚至不需要训练,因为人们在日常生活中经常进行视觉想象(visual imagery,VI),如在脑海中回忆或看到某个情景或图片[25]。VI是一种自然的心理活动,被试往往可以熟练地、自由地操控此种心理活动。例如,我们能在脑海中浮现出自己母亲清晰的面孔,更能够在脑海中浮现出自己的形象;也能够轻易地在脑海中浮现出一个物体并在心里操控该物体做各种运动,例如旋转;我们还能够在脑海里回忆一段电影里的视频或日常生活中的一个社交场景,这些均是VI 心理活动。VMI是VI 中的一种,图4b 为被试在心里执行步行的VMI示意图。
1.4 实际运动、动觉运动想象和视觉运动想象的比较
1.4.1 执行的差异
ME 是自己执行的显式运动,自己和他人往往能够观察到该运动的外在表现,是长期大量训练而习得的自然运动,已习惯或自动化了,容易执行,通常不需要投入过多的心理资源或脑力。与 ME 相比,KMI 和 VMI 都是内隐性或内源性的心理活动,即隐式的运动,自己和他人往往观察不到该运动的外在表现。然而,KMI 和 VMI是两种不同的心理活动,KMI 是以第一人称视角在心里感觉或排演一个实际运动过程但不显示出来,而 VMI 则是以第三人称视角在心里看到或回忆之前观察到的运动画面。表1列举了5种运动的 ME、KMI、OOM 和 VMI 的执行比较。其中 OOM为观察运动(observation of movement),是指个体观察特定肢体或身体其他部位运动的过程或计算机屏幕上显示的特定肢体或身体其他部位运动过程的动画或视频[16]。
表 1 5种运动的 ME、KMI、OOM 和 VMI 的执行比较
运动类型
ME
KMI
OOM
VMI
左手食指轻敲
被试左手食指平放桌面,轻轻抬起至一定高度,然后返回桌面。
被试在心里排演自己的左手食指轻敲运动的动觉体验(将注意力集中于左手食指。
被试观察计算机屏幕上显示的左手食指轻敲运动的动画或视频。
被试在脑海中清晰地看到此前观察到的左手食指轻敲运动的心理画面。
脚前掌轻敲
被试脚前掌平放于地面,轻轻抬起至一定的高度,然后返回地面。
被试在心里排演自己的脚前掌轻敲运动的动觉体验(将注意力集中于脚上)。
被试观察计算机屏幕上显示的脚前掌轻敲运动的动画或视频。
被试在脑海中清晰地看到此前观察到的脚前掌轻敲运动的心理画面。
舌部舔冰淇淋
被试张开嘴巴,伸出舌头并舔冰淇淋,恢复到舌部原来的位置。
被试在心里排演自己的舌部舔冰淇淋的动觉体验(将注意力集中于舌部)。
被试观察计算机屏幕上显示的舌部舔冰淇淋运动的动画或视频。
被试在脑海中清晰地看到此前观察到的舌部舔冰淇淋运动的心理画面。
步行
被试以正常步速步行到指定的终点,再从终点返回到起点。
被试在心里以正常步速步行到指定的终点,再返回到起点,感受步行的动觉体验(将注意力集中于下肢双腿的交替抬腿、迈步、落腿。
被试观察计算机屏幕上显示的步行的动画或视频,要求着重观察下肢双腿的交替抬腿、迈步、落腿。
被试在脑海中清晰地看到此前观察到的步行画面,着重回忆下肢双腿的交替抬腿、迈步、落腿的画面。
穿针引线
被试左手拿针,右手拿线头,眼睛观察针孔和线头的位置和距离,通过眼手的协作,完成穿针引线。
被试在心里排演穿针引线的动觉体验过程(将注意力集中于眼手的协作。
被试观察计算机屏幕上显示的穿针引线的动画或视频,要求着重观察眼手的协作。
被试在脑海中清晰地看到此前观察到的穿针引线,着重回忆眼手的协作画面。
1.4.2 脑成像的差异
上述四种运动模式(ME、 OOM、KMI 和 VMI)的执行在心理和行为上存在差异,这些执行上的差异会使它们的脑成像存在差异,在MI-BCI的研发中,需要特别注意这些差异。除了执行上的差异,不同肢体的不同运动方式或不同的运动学和动力学参数(如运动时间、运动路径、运动速度和作用力等)也可能诱发不同脑区和脑网络回路的激活[23,27],如左、右脚 MI 的成像就有差异[28-29]。因此,在 MI-BCI 的研发中,需要指明参与运动的肢体和具体的运动方式和运动参数,即明确特定肢体的特定运动。
关于 MI 激活的脑区目前还没有统一的结论,这是由于不同研究采用的实验范式存在差异(MI涉及的肢体不同,运动的方式也不同)。尽管如此,通过总结 MI 脑成像的相关文献[30-32],仍然可以发现一些目前已达成共识的激活脑区,如表2所示。
表 2 ME、OOM 和 MI 激活的脑区比较
任务类型
激活的脑区
ME
激活了感觉运动区和运动前区,包括顶下小叶的小部分区域,也发现皮层下双侧丘脑、壳核和小脑有激活。虽然在左侧半球激活的区域更大,但双侧脑区两个激活簇跨越了运动前区和躯体感觉皮层,激活簇前部延伸至背侧运动前区。运动前区的激活簇有 3 个;一个横跨双侧辅助运动区并向下延伸至扣带回,另外两个双侧激活簇横跨腹侧运动前区。皮层下活动区包括丘脑的双侧激活簇(主要左侧化)和小脑第六小叶的双侧激活簇(主要右侧化)。
OOM
激活了运动前区和顶叶区的双侧网络;也包括较大的顶枕区和更多的双侧激活。两个较大的双侧激活簇横跨背侧和腹侧运动前区,而在辅助运动区前部(pre-SMA)中发现了第三个较小的运动前区激活簇。其中较小的激活簇包括右侧枕上回,两个较大的激活簇覆盖了双侧顶枕区,横跨了顶上小叶和顶下小叶,以及部分枕叶皮层。值得注意的是,OOM 并不总是招募皮层下区域。虽然激活的顶枕簇包括小脑的一小部分,但这些区域不出现最大峰值。
MI
激活了双侧运动前区、中上顶叶及下顶叶头侧头侧、基底神经节和小脑区域的网络,并激活了背外侧前额叶的左侧。两个较大的双侧运动前区激活簇横跨辅助运动区,延伸至背侧和腹侧运动前区。左运动前激活簇也延伸到扣带回和壳核(一个单独较小的激活簇,其包括了右壳核)。两个双侧顶叶激活簇跨越顶下和顶上小叶,在顶叶下回右侧激活。
为了使读者更好地理解表2的内容,图 5 示意了 ME、OOM 和 MI 激活脑区的元分析[28]。
图 5 ME、OOM 和 MI 激活脑区的元分析
从表 2 和图 5 可以看出,MI 与 ME 激活的区域较为接近,这与许多已有研究的结果一致,即 MI与 ME 具有相似的神经机制,都会诱发与运动相关的脑节律事件相关去同步(event-related desyn- chronization,ERD)[17]。需要注意的是,由于 MI 心理活动需要抑制实际运动的发生,因此,MI 与 ME激活的脑区或脑网络并不完全一样。关于 MI 的神经机制,还有很多争议的地方,如因脑区定义的不清晰而导致存在争议的初级运动皮层[17]、早期视觉皮层[33]等。
如前所述,KMI 与 VMI 是两种不同的心理活动,可以假定这两种心理活动激活的脑区存在差异。归纳关于这两种心理活动脑成像的研究,目前为止发现差异具有统计学意义的是:与KMI 相比,在VMI期间,视觉皮层的活动抑制程度更高[30-31]。这也提示我们在研发 KMI-BCI 和 VMI- BCI 时,需要注意脑区激活和抑制的差异并选择合适的电极。对这两种不同的 MI 心理活动,未来需要深入研究它们的神经机制。
1.5 特别值得注意的问题
(1)MI不是瞬间完成的,需要持续一段时间,着重感觉运动的过程,且MI 过程的时间与相应的ME 过程时间一致[34]。因此,无论是KMI-BCI 还是 VMI-BCI,要求被试控制自己想象过程的时间要和相应的ME 过程时间一致,避免仓促完成MI 而导致MI-BCI 性能降低。
(2)在构建 MI-BCI 过程中,既有构建基于KMI 的BCI,也有构建基于VMI 的BCI[35-36]。目前,对训练有素的 MI 被试,KMI-BCI 的分类精度要高于VMI-BCI 的分类精度[14]。尽管 VMI 要比KMI 容易执行,但VMI 的分类比KMI 的分类挑战性更大。
目前已有少量研究对VMI-BCI 进行了探索[35-37],但总体而言,实验范式的设计尚存在局限,这严重影响了分类精度[24]。从这一方面来看,VMI-BCI还需要更深入的研究。未来,VMI-BCI需要精心设计VMI 任务组,使得任务组相关的脑电特征具有显著的差异,或者进一步提取具有可分性的特征。
(3)被试易把 KMI 执行为VMI,反过来则较少。这是因为对大多数人来说,VMI要比KMI 容易执行。为了确保被试正确地执行KMI 或VMI,需要设计精确的实验指导语(如左手食指轻敲的实验指导语,可以参考表 1),并在实验开始之前对被试进行离线训练。例如,对于KMI-BCI 实验,可以先让被试执行肢体或身体其他部位的实际运动,紧接着要求被试在心里排演或感觉实际运动的过程,重复训练一定时间;对于VMI-BCI 实验,先让被试观看肢体或身体其他部位运动的过程,紧接着要求被试在心里回忆或看到之前观看的运动过程画面,重复训练一定时间。
为评估被试是否正确执行KMI 或VMI 心理活动,可通过下文介绍的MI 能力评估方法确定,如脑功能成像方法或神经反馈(neurofeedback,NF)可视化方法等。
(4)在 MI-BCI 范式创新设计时,可供考虑的建议:①与单个肢体MI 相比,涉及多个肢体参与的协调MI 或复合MI,具有重要的研究意义和价值,如图 1中的步行和穿针引线;②与粗略的肢体MI 解码相比,更加精细的肢体MI 解码更具有挑战性和价值,如不同手指的运动;③与识别参与MI的肢体类型相比,解码MI 的运动学参数(如运动时间、运动轨迹、运动速度)和动力学参数(如作用力的变化和加速度)更具有挑战性和潜在的价值,如步行的速度、轨迹等[27]。
02
动觉运动想象和视觉运动想象能力的评估方法
一些被试 MI 能力较强,但也有一些被试 MI能力较差或没有 MI 能力(MI 盲[23])。在 MI-BCI的研发中,对被试 KMI 和 VMI 能力的评估至关重要,可以根据评估结果初步确定其是否有操控这一类 BCI 的潜在能力,也可为提高这类被试或用户的 MI 能力提供方案。
尽管 MI 是一种主观的心理体验,但在过去的几十年中,许多研究表明,对 MI 的能力进行客观的评估和分析是可能的[38-40]。目前常用的 MI 能力评估方法有问卷调查法(或国际量表)[7,40]、心理测时法(mental chronometry)[34]、脑功能成像、NF [41]、心理旋转法(mental rotation)[38,42]等。MI 是由一系列过程组成的,包括运动图像(motor images)的生成、维持、操纵和可控性[43-44],这 4 个成分代表了 MI 的不同阶段或维度[34,44],并分别可以采用问卷调查、心理测时法、心理旋转法和可控性测试进行评估[45]。
2.1 国际量表
迄今为止,有若干评估KMI 和VMI 能力的国际量表,有的量表针对健康个体,如运动想象问卷调查(Movement Imagery Questionnaire,MIQ)[46];有的量表针对运动残疾患者,如动觉和视觉想象问卷调查(Kinesthetic and Visual Imagery Questionnaire,KVIQ)[40];有的针对MI 的可控性,如运动想象的可控性测试(Controllability of Motor Imagery Test,CMI test)[47];有的针对MI 的生动性,如运动想象生动性问卷调查(Vividness of Motor Imagery Questionnaire,VMIQ)[48]。MI能力的两个关键特征是生动性和可控性[49],MI能力问卷调查量表主要围绕这两个关键特征进行评估。下面主要介绍常用的 4种MI 问卷调查量表。
2.1.1 运动想象问卷调查
MIQ[46]从视觉和动觉各9 个任务项目评估被试的MI 能力,采用 7分制,是一种依赖被试自我报告的调查问卷形式。该问卷要求被试在MI 前执行实际运动,并为被试提供MI指导语。由于MIQ 需要参与者执行一些实际运动,在运动功能障碍人群中难以推广,因此常用于健康人群和运动员。目前有MIQ 和MIQ-R 两个版本。
2.1.2 运动想象生动性问卷调查
MI的生动性及其评估很重要。VMIQ旨在评估MI 在视觉和动觉方面的生动性,其从第一人称视角和第三人称视角两个角度评估被试的MI 能力,每个角度各24 个任务项目,采用 5分制打分表,被试在MI 评估之前无需进行实际运动。VMIQ的打分机制如表 3所示[48]。目前有VMIQ 和VMIQ-R[50]两个版本。
表 3 MI 的清晰度/生动性评价量表
评价等级
想象引起画面的清晰度或生动性
1
非常清晰,像正常看到的一样生动
2
清晰且相当生动
3
中等程度的清晰和生动
4
模糊不清
5
完全想象不出画面,不是想象,只知道思考该技能
对 VMIQ 的可靠性和有效性的研究表明,它是一种很有前景的方法,但该问卷目前的项目更侧重于评估运动的VI而不是动觉想象(kinesthetic imagery,KI)的生动性[50]。然而,评估运动的KI 生动性极为重要,因为在目前的MI-BCI 研究中,主要采用的是KMI,具有生动性的KMI 可能会诱发显著的EEG 特征,有利于KMI-BCI 的分类。此外,通常来说,KMI 不容易正确执行,往往缺少生动性,而VMI 相对容易执行,其生动性较好,因此更需要侧重评价KMI 的生动性。
2.1.3 运动想象的可控性测试
CMI是指被试根据顺序运动的指示,自主地按顺序想象操控自己肢体的能力,可以采用CMI test 来评估这项能力[47]。 CMI test 由15 个不同的任务项目构成,每个任务项有 6个想象控制项(即测试指导语)。表 4为CMI test 中 1 个任务的 6 个想象控制项示例。
表 4 CMI test 中 1 个任务的 6 个想象控制项示例
序号
想象控制项
1
双脚并拢站立
2
右腿前伸 50 cm
3
躯干左转 90°
4
头部右转 90°
5
右臂水平前伸
6
左臂水平向左
CMI test 要求被试想象一种基本的运动姿势(即第 1个想象控制项),然后根据实验指导语依次想象控制或操纵该姿势。在连续想象 6个控制项
后,要求被试从 6 个选项(包括 5种不同的肢体姿势和忘记选项,以图片的形式展示)中选择与内心想象的肢体姿势相匹配的选项。被试完成15 个任务项的测试,根据被试选择的正确率来评估被试MI 的可控性,准确率越高,说明被试对MI 的控制性越好。
上述 MI 的可控性及其测试很重要,因为MI要求被试在心里排演相应的实际运动过程,想象该过程的顺序控制和所需的时间要求与实际运动过程一致,良好的MI 可控性可能诱发显著的头皮脑电(electroencephalography,EEG)特征,进而有利于MI-BCI 的解码。
2.1.4 动觉和视觉想象问卷调查
KVIQ[39-40,51]综合了MIQ 和VMIQ 的优缺点(MIQ评测前需要被试执行实际动作,不适合运动功能障碍患者,VMIQ更侧重VI),问卷调查者根据被试执行KMI或VMI 时的主观感受进行评分。也就是在想象结束后,被试根据评分等级的评估词,如“不能想象”或者“没有感觉”等,向问卷调查者描述VI 内容的清晰度和KI 的感觉强度,然后由调查者按 5分制进行评估,如表 5所示[52]。被试在KVIQ 评估之前无需进行ME,因此,该问卷适合那些因故不能站立或执行复杂动作的人,如脑卒中患者[39,51]。目前,KVIQ有KVIQ-20 和 KVIQ-10 两个版本,其中 KVIQ-20 有20 个任务项目,而KVIQ-10 只有 10 个任务项目,耗时短,常用于临床。
表 5 KVIQ 评分表
评价等级
VI的清晰度
KI的感觉强度
5
非常清晰,像看到的画面
像执行实际动作一样强烈的感觉
4
清晰的画面
强烈的感觉
3
中等程度清晰和生动的画面
中等程度的感觉
2
模糊不清的画面
轻度的感觉
1
完全想象不出画面
没有感觉
以上介绍的问卷调查评估方法具有一定的局限性,因为被试心理想象的过程和结果只有被试本人知道,实验者无法知道,被试做出选择的正确与否或评分依赖被试的判断,具有一定的主观性。而NF 等评估方法可能在一定程度上克服这个局限。
2.2 心理测时法和心理旋转
除了上述问卷调查法,还可采用心理测时法针对MI 的执行时间来评估MI 的能力[34]。此外,肢体的心理旋转也是一种MI,可以作为驱动BCI 的一种心理任务,其往往与心理测时法相结合。
2.2.1 心理测时法
心理测时法是对人脑信息加工的时序或心理活动过程的精确测量[34]。执行心理任务所花费的时间反映出该心理任务的认知过程,心理测时法可评测认知加工速度。认知加工速度常采用反应时间(reaction time,RT)衡量,RT为从刺激(如视觉或听觉)或提示出现到被试做出反应所需的时间。心理测时法通常采用基本的、简单的认知任务,包含的心理过程或操作数量相对较少,RT 为毫秒级。
MI是一个过程,往往不是瞬间就完成的,需要花费一定的时间,因此心理测时法可以作为评估被试MI 能力的一个指标[53-54]。在周期性的运动中,MI 和相应ME(如抓握、书写和跑步)的持续时间相一致[34],因此被试执行MI 的持续时间与相应实际运动的持续时间越接近,表明该被试的MI 能力越强。MI能力的心理测时法是对MI 感知加工速度的测量,执行MI 所花费的时间反映出该心理任务的感知过程。
MI的RT 可以这样测量:提示MI 开始的时刻与MI 结束时被试的按键反应时刻之差,该时间反映了在心里排演一个实际运动的感知过程或处理速度。
2.2.2 心理旋转
心理旋转是一种在心里操控物体旋转的认知任务,要求被试“旋转”二维或三维物体的心理表示[55]。研究表明肢体某部分或整体(不一定是被试的)的心理旋转过程也会使被试的相应肢体参与心理旋转运动[38],这提示我们,在运动功能障碍康复训练的BCI 研发中,可以设计肢体的心理旋转作为驱动BCI 的一种心理任务,把肢体的旋转图像先呈现给被试,然后让被试在心里旋转该肢体。
由上可知,心理旋转是一种心理任务,而心理测时法是一种测量心理加工速度的方法,心理旋转因其可操控性,可作为心理测时法的心理任务,因此通常把心理旋转和心理测时法结合起来进行研究和应用。作为具体应用,肢体的心理旋转及其心理测时法评估通常分以下几个认知阶段:①从所要求的角度在心里创建肢体旋转的图像(旋转的起始位置);②在心里旋转肢体图像,直到可以进行比较(旋转的目标位置);③执行比较;④确定肢体的心理旋转角度是否达到要求;⑤做出决策(按下按钮时记录RT)。被试完成肢体心理旋转的反应时间越短,准确率越高,表明被试的MI 能力越好[38]。
2.3 脑功能成像
MI期间的脑成像特征可以作为评估MI 能力的一种客观指标。目前,常用的脑成像方法有EEG[16]、功能磁共振成像(functional magnetic resonance imaging,fMRI)[56-58]、功能性近红外光谱成像(functional near-infrared spectroscopy,fNIRS)[59]等。其中fMRI 具有较高的空间分辨率[56-57],可以定位特定感觉、知觉或认知任务下大脑的功能激活分布[58],因此可以用来评估MI 期间大脑激活的分布特征。一种可选的方法是,首先在被试KMI 和VMI 任务态期间进行fMRI 成像并提取特征,然后以具有较强MI 能力被试的fMRI 成像特征作为参考来比较,如果具有可比性,可评估为具有较强的MI能力,如果没有可比性,可评估为MI 能力较差[60]。
除此而外,也有研究采用静息态下的fMRI 和EEG成像来评估MI 能力[61],但这两种方法不是在MI任务态下进行评估,可作参考。
2.4 神经反馈
NF是生物反馈的一种,有若干可以实现NF 的脑信号采集方法[如EEG、fMRI、fNIRS[59]和神经元脉冲发放(Spikes)等],其中EEG 具有较高的时间分辨率,基于EEG 的NF 可以在线实时可视化呈现被试大脑活动的分布特征[62],如MI 期间大脑活动分布特征的实时呈现。
如前所述,MI是一种隐式的运动或心理活动,实验者无法直接得知被试想了没有以及想象如何,也观察不到该运动的外在表现,因此难以评价被试MI 的能力或表现[27]。然而,MI期间的EEG-NF 能够可视化地显示MI诱发的EEG特征,因此,EEG-NF可以作为评估被试MI 能力的一种方法,具有一定的客观性。利用EEG-NF 评价MI 能力的一种可选方法是,通过呈现被试的MI 脑电特征分布的地形图、分类结果或控制外部设备的效果,以此作为评价被试MI 的能力。
2.5 事件相关同步/去同步
在执行左右手MI 时,对侧感觉运动区EEG 中 µ频段和 β 频段出现振幅降低,即ERD,表示该运动区激活。同时,同侧感觉运动区EEG 中 µ频段和 β 频段出现振幅增加,即事件相关同步(event- related synchronization,ERS),表示该运动区去激活[59]。基于 MI 的 BCI 主要利用这一差异对MI 任务进行解码[29]。ERD/ERS 可以用来反映被试脑区的激活强度[63],通过观察ERD/ERS 特征是否稳定来判断被试MI 能力。
03
动觉运动想象和视觉运动想象能力的提高方法
目前,要能够或熟练操控BCI 系统,通常需要掌握操控BCI 系统的技能,这种技能可以通过训练获得。有研究表明,被试或用户需要学会调节或控制自己的脑活动以产生差异显著的特定EEG 成分,从而驱动BCI 系统,该研究认为BCI 技术依赖于个体自主和可靠地产生脑电活动变化的能力[64]。
迄今为止,MI 是BCI 中最常用的任务,然而,MI-BCI 的性能严重依赖被试或用户的MI 能力或表现,为提高该类BCI 系统的操控性,被试或用户需要接受一定量甚至是大量的训练。无论是KMI- BCI 还是 VMI-BCI,均需要相应提高KMI 和VMI的能力。
3.1 动觉运动想象能力的提高方法
通常采用两种方法提高 KMI 能力:离线训练和 NF 训练。
3.1.1 离线训练
被试离线操控 BCI 系统,首先以特定的肢体(需要明确参与运动的肢体,如右手食指)和运动方式(需要明确运动方式,如轻敲、屈伸或按压)及运动参数[需要明确运动参数,如轻敲或屈伸的速度(0.5 Hz/1 Hz/2 Hz 等)、按压力的大小(如最大/中等/最小等)]执行实际运动,获得 ME过程的体验,然后在心里排演或模拟刚才执行的 ME 过程,但不发生实际运动[27,65-67],要求 KMI 过程与 ME 过程所用时间一致。重复以上过程,通过一定的训练量,直到获得一定程度的 KMI 生动性和可控性,训练后填写 KMI 能力问卷调查表进行评估。
特别值得注意的是,不同的肢体以不同的运动方式和运动参数进行运动,其诱发的脑信号可能不完全相同,对应的 KMI 相关的脑信号也可能不完全相同[27]。经离线训练后具有一定 KMI 能力的被试可作为MI-BCI 的候选被试,其他被试可以排除。由于此种方法是离线训练,提高 KMI 的能力有限[69],训练后的问卷调查评估具有一定的主观性,可能纳入或排除了不合适的被试。
3.1.2 NF 训练
NF 除了可以作为评估被试 MI 能力的一种方法,还可以作为训练并提高被试 MI 能力的手段,它是一种在线训练方法。有研究表明,被试可以通过脑电 NF 学习调节感觉运动皮层的电活动[70],这样自我诱发的脑电变化可以作为 BCI 的控制信号[62]。在反馈调节 KMI 期间,所有被试在对侧中央区域均出现显著的 ERD,与无反馈的初始对照实验相比,ERD/ ERS 显示出增强的半球不对称性, NF训练后,所有被试的分类准确率达到 85%~95%[71]。其他 MI-BCI 研究[69,72]也表明 NF 训练可以在一定程度上提高被试的 MI 表现或能力。
用 NF 训练提高被试 MI 的能力,通常的方法是:被试根据计算机显示器上呈现的视觉提示执行相应的 KMI 运动。被试 KMI 任务的表现由设计的反馈形式(如反馈条[73]、脑激活地形图[74]、控制光标移动[75]、控制移动机器人[8]、控制机械臂[76]、控制智能小车[72]、控制简单有趣的游戏[77]等)在线实时可视化呈现,这些反馈形式代表了当前的脑电模式。被试根据 NF 呈现的结果可以了解自己的 KMI 表现,同时可以调整自己的 KMI 心理策略,直到看到满意的反馈结果[15],通过这样的 NF 训练,找到适合自己的 KMI 执行方式,从而提高自己的 KMI 能力。图 6 为 MI-BCI 控制机器人的神经反馈训练示意图。
与离线训练方法相比,NF训练方法的独特优势是在线实时学习和调节,把隐式的 KMI 心理活动以可视化的反馈形式呈现出来,即“所想即所见”,从而提高 KMI 表现。
图 6 KMI-BCI 控制机器人的神经反馈训练示意图
3.2 视觉运动想象能力的提高方法
对被试的 VMI 进行提高,可以先为被试示范相应的动作,或者播放演示动作的视频,然后要求被试在内心可视化之前观看到的肢体动作[68]。即被试先仔细观察运动过程和细节,进行记忆(情景记忆),然后在脑海中回忆观察到的运动过程(情景回忆)。对于大多数人,无需训练即可获得正常的 VMI 能力,并且该能力比 KMI 能力强[45]。
3.3 冥想训练
冥想是一种提高正念和意识的心理训练方法,对人的精神状态有积极作用。冥想训练也是提高 MI 能力的一种方法,因为冥想可增强注意力和控制脑节律[78-79]。如在使用 MI 控制一维和二维光标的任务中,冥想者的表现均优于无冥想经验者,并且在冥想者组中,BCI 盲的人数较少[78]。最后,对冥想组和无冥想经验组进行神经生理学分析,结果表明冥想者在任务期间的静息感觉运动节律预测因子更高,静息态 µ 节律更稳定,并且控制信号比对照组更强[78]。值得一提的是,冥想训练和 MI- BCI 是相互促进的,MI-BCI也可以提高冥想者的专注度[80]。
04
BCI中运动想象的执行、能力的评估
和提高方法:未来的趋势
对在线BCI系统的评价不同的研究者可能有不同的方法,我们认为除了评价分类准确率和比特率外,更需要综合评价在线BCI系统,包括评价用户满意度、使用情况和功效。
4.1 MI的自动化执行、实时可视化客观评估和高效的神经反馈训练
4.1.BCI 中 MI 的执行:训练直到自动化
无论采用 KMI 还是采用 VMI 心理活动驱动 MI-BCI 系统,在最初阶段都需要正确的指导语来指导被试正确地执行这两种心理活动,以诱发出期望的脑信号特征。随着被试操控 MI-BCI 系统经验的积累,可通过操作性条件反射训练找到适合他自己的 MI 心理策略,甚至可望达到不需要投入过多的脑力资源,也能自动化地执行 MI,并很好地操控 MI- BCI[64]。
4.1.2 BCI 中 MI 能力的评估:在线实时可视化的客观评估
由于 MI 是一种隐式的心理活动,被试和实验者均难以显式地进行监测或评估,为此需要采用脑成像的方法把 MI 期间激活的脑区分布或脑网络特征(定量指标)可视化地呈现出来。除此而外,离线的问卷调查存在一定的主观性,为弥补此缺点,需要在线实时、定量、客观地评估 MI 表现。总之,未来需要研发客观的、定量的 MI 能力评估方法。
4.1.3 BCI 中 MI 能力的提高:在线实时高效的 NF训练方法
为提高被试 MI 的能力,离线训练可以作为初级阶段的训练,进一步的训练则需要通过 NF。基于精准的时-频-空特征[精准的脑区(对应电极)、精准的频率、精准的时间]NF 调节训练是未来的一个研究方向。这种训练需要对 MI 相关脑区[KMI 激活的感觉运动区、VMI 激活的额叶和顶枕区(与电极位置对应)]的神经振荡频段或频率(如 µ、β 和 γ 节律)的功率、运动相关电位的成分进行精准的调节。
除上面精准特征的 NF 调节外,NF 的形式设计也很重要,反馈信号丰富的视觉再现可以促进被试的学习,并且呈现 NF 内容的可视化界面要求易理解、直观和美观。总之,NF 的内容和形式要求能够集中被试的注意力,如可以将 MI-BCI 和虚拟现实(virtual reality,VR)相结合,构建高度逼真、沉浸感强的 NF 训练系统[81],这样训练效果可能会更好。因此,未来需要研发新的、更有效、训练时间短(5~10 min)的 MI 能力提高方法。
4.2 个体之间和内部 MI 的差异性、共性和 MI-BCI盲问题
4.2.1个体之间和内部 MI 的差异性、共性问题
充分考虑个体之间 MI 诱发脑信号的差异性,需要为特定个体定制 MI-BCI 系统;另一方面,也要考虑个体之间 MI 诱发脑信号的共性,可以采用迁移学习[11,82]构建具有一定通用性的 MI-BCI 基本模型。除此而外,还要充分考虑个体内部不同时间段 MI 的差异和共性,可以采用自适应的机器学习算法[83]、自适应的通道选择[84]和深度学习[85]等方法进行优化。
4.2.2 MI-BCI盲
没有 MI 能力或经过 MI 能力提高训练之后其 MI 表现依然较差的被试,可建议不选用 MI-BCI 系统,而是考虑其他类型的 BCI 系统。通过 MI 能力提高训练后,原来 MI 能力较差的被试如 MI 表现提高了,则可以考虑采用 MI-BCI系统。
05
结束语
MI-BCI 是一种重要的 BCI,其中 MI 心理活动的正确执行、能力的评估和提高方法对该类 BCI 具有重要的作用。本文阐述了与 MI- BCI 相关的 ME、KMI 和 VMI 的执行,进而对它们进行了比较,并指出需要特别注意的问题。接着论述了 KMI和 VMI 能力的评估方法,包括评估二者能力的国际量表,主要是 CMI test、VMIQ 以及 KVIQ;还介绍了心理测时法、脑功能成像以及 NF 评估 MI 的能力。然后,概述了 KMI 和 VMI 能力的提高方法,包括离线训练、在线 NF 调节训练和冥想训练。最后指出MI-BCI 中 MI 执行、能力的评估和提高方法是未来需要进一步研究的问题。希望本文能够启示和促进MI-BCI 系统的研发并走向实用化。
仅用于学术分享,若侵权请留言,即时删侵!
欢迎加入脑机接口社区交流群,
探讨脑机接口领域话题,实时跟踪脑机接口前沿。
加微信群:
添加微信:RoseBCI【备注:姓名+行业/专业】。
欢迎来稿
1.欢迎来稿。投稿咨询,请联系微信:RoseBCI
点击投稿:
2.加入社区成为兼职创作者,请联系微信:RoseBCI
一键三连「分享」、「点赞」和「在看」
不错过每一条脑机前沿进展
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.