眼间视觉资源差异的高效双频SSVEP脑-机接口系统

我们提出了一种新的双频稳态视觉诱发电位（SSVEP）脑机接口（BCI）系统，具有独特的人机交互（HCI）特征，利用了两只眼睛之间不同的视觉资源差异。通过利用由双眼差异引起的脑电图（EEG）反应的细微差异，我们的系统有效地区分了相同的频率目标。我们进行了双相验证：初步的离线实验证实了脑电图与眼间视差的差异，然后进行了全局优化，以优化SSVEP编码和空间排列，允许在20个频率组合内有40个不同的目标。开发了一种定制的双眼任务相关组件分析（bTRCA）算法，离线后的最大个体信息传输速率（ITR）为338.32位/分钟，平均为224.96位/分钟，在线版本的平均ITR为234.13位/分钟。这些结果表明，该系统是双频SSVEP 脑机接口系统，为HCI的应用开辟了新的前景。

为了检验假设和评估实际场景中的界面，我们的研究首先选择了20个在特定频率范围内相关性最低的频率相位刺激编码组合。通过部署一个偏振光装置，这个最初的选择随后被扩展到包括40个独特的目标，这使左眼和右眼之间的频率交替成为可能。此外，我们开发了一种创新的算法，双目任务相关成分分析（bTRCA），专门为这种刺激框架设计。该算法通过强调双目类之间的区别来增强信号的解码。我们的系统通过严格的在线和离线实验证实了系统的有效性。

材料和方法

1. 双频交换式SSVEP刺激系统

使用偏振光作为三维显示技术的媒介已经成熟。我们的研究利用这项技术，促进了在占据相同空间坐标的同时，将不同频率的刺激同时传递到双眼。我们实验刺激系统的基础方法如图1所示，它描述了视觉刺激信息流程。

如图1(I)所示，我们生成了两个刺激物，f1和f2以不同的频率振荡。然后，将这些刺激物合并到一个专门的偏振频率屏幕上。投影到屏幕上的合成图像代表了f1和f2的合并，每个刺激都通过正交偏振光波传递，如图1（II）所示。在融合过程之后，使用偏振玻璃选择性地将频率特异性刺激指向左眼和右眼（图1（III）)。然后，视觉信息通过视交叉传递到枕叶，最终实现枕叶区域内信号的公平分布，如图1（IV）所示。

图1 双目双频交换SSVEP刺激系统示意图

图1(V)提供了枕叶皮质的横断面图，突出了每只眼睛对应的优势柱的交替和公平分布。这种解剖结构表明，刺激f1和f2，当分别为左眼和右眼进行调节时，在枕叶区域应表现出相似的分布模式。图1（VI）介绍了“交换操作”的概念。这种技术涉及到交换左眼和右眼接收到的频率，在不增加编码数量的情况下，有效地将所需系统内可识别目标的数量增加一倍。

2. 全局优化的刺激编码

双频刺激系统中编码频率的设计一直是SSVEP研究中的一个重要考虑因素。值得注意的是，许多这些研究采用了类似于在单频协议中使用的刺激频率。2020年，研究人员努力利用优化算法确定刺激频率的最优组合。然而，这些研究保持了频率和相位间隔与通常使用的单频系统相同，特别是0.2 Hz和0.5π。

优化目标包括80个参数，每个参数由两个频率和两个相组成，共4个参数。整个迭代过程中的损失变化如图2(I)所示。在刺激系统设计中，优化刺激目标的排列顺序。我们还使用PSO迭代优化获得的40个刺激目标的排列顺序（交换20组刺激码后获得40个目标）。使用五行八列的布局，我们的目标是最小化单个刺激目标与其周围目标之间的相关性。如图2（III）所示，M假设位于界面中心的目标的值为8。相反，对于位于界面边缘的目标，M值下降。用40个参数来确定每个目标的空间位置。优化结果如图2（II）所示。最终得到的频率、刺激编码和顺序如图2（III）所示。为了证实优化方法的有效性，我们将优化轨迹与随机生成值的基准进行了比较分析，如图2所示。分析显示，与在随机生成的数据中观察到的结果相比，优化结果的相关性明显较低，这强调了优化过程的稳健性。

图2 刺激编码的全局优化所固有的综合程序和结论性结果

3. 双目任务相关成分分析（bTRCA）

在这项研究中，我们调查了两组不同的刺激目标： 20刺激组合，从此称为组O，和20改变刺激组合s后，称为组s尽管分化，两组利用相同的编码刺激，导致潜在的收敛编码方案。本研究建立在现有工作的基础上，引入了一种专门为我们的实验刺激系统的独特参数设计的创新算法。

整个算法的过程流程如图3所示。值得注意的是，类似于TRCA算法，在不同的频段上应用了相同的操作，并对每个频段的结果进行加权和合并，以确定最终结果。

图3 bTRCA的流程图，其中蓝色紫色部分表示训练过程，勃艮第部分表示测试过程

4. 实验设计

为了严格评估所提出的刺激系统及其相关算法的有效性，本研究设计了一套全面的三种实验方案：单目标主实验、离线40目标拼写模拟和在线40目标拼写模拟。单靶点研究的主要目的是评估眼间视觉资源差异对脑电图反应的影响。同时，我们进行了两个40个目标实验，以证实在BCI系统中使用眼间视觉资源差异的可行性。通过离线仿真完成了对系统有效性的广泛评估，而在线仿真则努力模拟一个真实的操作环境，并为用户提供瞬时反馈。实验过程如图4所示。

图4 实验流程图

实验结果

1. 单目标实验

在单目标任务中，当比较刺激目标和交换目标之间的诱发SSVEP反应时，在时频域上有微小的差异，如图5所示。最初的分析涉及计算图5(I)中不同刺激目标的SSVEP响应的谱图，显示刺激和交换目标产生了非常相似的单导联模式，在频谱上没有任何超过3 mV的振幅差异。为了量化这一观察结果，我们对原始时域波形进行了详细的相关分析。为了减轻空间域的影响，我们计算了每个区域的相关系数使用单独的通道，然后进行平均，以获得最终的结果。刺激和交换刺激目标之间的时域波形相关性被划分为“Contra”组，“Inter”表示每个刺激目标组试验波形矩阵内的相关性。“内部”表示非交换对的不同刺激目标的波形矩阵之间相关性。结果显示，“对比”和“内部”（p = .02 < .05）以及“内部”和“内部”（p = .031 < .05）之间存在统计学差异。然而，“Contra”和“Inter”之间没有显著差异（p = .308 > .05），表明刺激和交换刺激目标的时域波形相关性与组内相关性相当。这表明，如果不应用信号提取技术，则在时频域成分内区分刺激目标和交换目标是具有挑战性的。

图5 单目标实验的分析性描述

相比之下，零域的空间模式在刺激目标和交换目标之间存在显著差异，如图5（III）所示。在这里，我们计算了不同刺激频率下刺激和交换刺激目标之间的地形图，以及在这些频率下每个刺激-目标组的个体试验中的相关性。地形图分布在多个频率上表现出明显的差异，特别是在主频率f1（p = .0000000002≪.001）、f2（p = .0000000019≪.001）和交叉调制频率f1 +f2（p = .000012≪.001）。为了提高清晰度，这些差异在图5（IV）中可视化，其中差分地形表示目标地形和交换目标地形之间的偏差。这种独特的空间分布为分类过程提供了一个关键的基础。

2.目标离线实验

我们的研究首先将我们的新系统及其相应的算法在40个目标的离线实验设置中进行了严格的测试，结果如图6所示。当与TRCA方法并列时，我们的bTRCA框架在一系列时间窗口持续时间内显示出了分类效率和ITR的显著改善。值得注意的是，bTRCA的峰值单个ITR达到338.32位/min，而平均峰值ITR记录为224.96位/min，接近传统单频SSVEP范式的性能。

图6 40个目标离线实验的分类结果

对图6（III）所示的包含0.6 s时间跨度的分类热图进行检查，发现ebTRCA在分类精度方面优于eTRCA。图6（III）的第一列显示了描述O组和s组之间的分类结果的热图。这个热图的对角线坐标代表了两组具有相同频率的目标。随后，图6（III）的第二列提供了O组内分类结果的热图，而第三列提供了S组分类结果的热图。这在分析初始热图时尤其明显，其中ebTRCA在O组和S组之间发生的错误分类比eTRCA更少。

结论

本文提出了一种新的利用差异双目资源分布的BCI系统。本研究的一个关键方面是，通过最小化通过应用PSO所实现的频率屏幕亮度序列中的相关性，来优化编码方案。此外，本文还介绍了一种专为该系统定制的定制解码算法bTRCA。该算法的实现促进了一个40个目标刺激系统的创建。值得注意的是，该系统在在线实验中显示了分类准确率，平均正确性为89.63 %，平均ITR为234.13比特/min。这些结果表明，该系统是目前使用的最有效的双频SSVEP BCI系统之一。

参考文献：

Efficient dual-frequency SSVEP brain-computer interface system exploiting interocular visual resource disparities

https://doi.org/10.1016/j.eswa.2024.124144

—— End ——

仅用于学术分享，若侵权请留言，即时删侵！

点击投稿：

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

欢迎来稿

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

点击投稿：

2.加入社区成为兼职创作者，请联系微信：RoseBCI

一键三连「分享」、「点赞」和「在看」

不错每一条脑机前沿进展 ~