杭州电子科技大学脑机协同智能团队提出一种双螺旋共生框架用于EEG认知识别研究

人工神经网络ANN和脉冲神经网络SNN在基于脑电EEG的认知识别研究中，均表现出独特的信息编码处理优势，但也存在各自的优化瓶颈问题。借鉴生物界DNA双螺旋进化机制，杭州电子科技大学脑机协同智能团队提出了一种类DNA双螺旋混合共生框架DNA-HS，以ANN和由该ANN生成的SNN构成DNA-HS共生框架中的双链，基于参数遗传，实现DNA-HS框架中的双链性能动态交互优化，显著提升了EEG认知识别的性能和适应性。该研究成果“A General DNA-like Hybrid Symbiosis Framework: An EEG Cognitive Recognition Method”已被《IEEE Journal of Biomedical and Health Informatics》期刊录用。杭州电子科技大学计算机学院曾虹教授与浙江农林大学数学与计算机科学学院赵月博士为共同第一作者，杭州电子科技大学孔万增教授和戴国骏教授为共同通讯作者，论文作者还包括罗马大学Fabio Babiloni教授和浙江中医药大学陶明教授。

论文链接：https://ieeexplore.ieee.org/abstract/document/10632585

1研究背景

随着人工智能技术的不断发展，大量第二代人工神经网络（ANN）和第三代脉冲神经网络（SNN）被用于各种基于脑电（EEG）信号的认知识别任务中。ANN中的神经元使用速率编码方案将信息编码成标量，并使用连续函数作为神经元激活函数，以实现对实值输入和输出的处理。然而，ANN 的神经元只在空间域传播信息，这使得 ANN 更倾向于处理和理解空间信息，在处理具有复杂时间序列或时空相关的任务时存在不足。SNN作为第三代脉冲神经网络，使用时序编码方案将信息编码成离散的脉冲序列，并利用微分方程计算模式来训练、计算和处理时序信息，更接近生物神经元机制。具体来说，除了空间域的信息传播外，脉冲神经元的当前状态还受到时域历史信息的密切影响，这使得SNN在时序或时空数据分析方面更具优势。

图1. DNA-HS结构示意图

共生的概念源于自然界中不同生物之间通过交换信息、材料或物质实现共同进化的过程。遗传学认为，脱氧核糖核酸（DNA）是生物遗传信息的主要载体。受此启发，作者通过模拟DNA的双螺旋结构和碱基互补配对原则，构建了一种新型的通用类DNA混合共生框架（如图1所示）。在该框架中，基于ANN和SNN的混合网络分别作为DNA-HS的两条链，承载着不同的表征信息。此外，提出的参数遗传算法（PGA）能够实现混合网络间的相互学习和进化，显著增强了网络参数的优化能力。实验结果表明，DNA-HS框架能够充分利用混合网络间的互补优势，大幅提升了混合网络的整体性能。这种模拟DNA双螺旋结构的统一混合网络框架，有望为基于EEG的认知识别任务开辟新的研究路径，开创一种全新的研究范式。

2研究概述

DNA-HS包含两个阶段：ANN和SNN独立进行的预训练阶段，以及ANN和SNN共同执行的共优化训练阶段。首先，进行预训练，即相同输入样本下ANN和SNN的单独训练，学习得到预训练后的ANN和SNN作为共生交互的两类基准网络。然后，基准网络以双向互利交互的方式执行共优化训练。为了减小辅助中间模块带来的结构复杂度，作者通过匹配层结构来获取特定的网络参数，以直接进行混合网络间信息的双向交互，。

图2. 基于ANN和SNN的类DNA混合共生框架DNA-HS

结构上，DNA-HS主要包括4个模块（如图2所示）：4D表征、ANN、SNN以及PGA。ANN可以为任意的网络结构（即任意层数和结构），在ANN的基础上引入脉冲神经元生成SNN。

图3. PGA算法在每次遗传迭代过程中的动态交互流程

PGA：提出的PGA算法为混合网络提供了一种直接进行信息交互的途径，通过网络参数的双向互利交互以充分发挥ANN和SNN各自优势，增强模型的EEG认知识别能力。图3显示了PGA在每次遗传迭代过程中信息的动态双向交互流程。首先，通过对父代模型进行互利导向突变和共生导向交叉操作，生成ANN和SNN的后代群体。然后，对ANN和SNN后代群体模型的Fitness值进行评估和排序，选出Fitness值最高的k个ANN和SNN（即Top-k ANN和SNN模型）。最后，从Top-k中随机选出一个ANN和SNN作为下一次遗传迭代的父代模型，继续进行动态交互。这一操作确保了不同特征表示和学习经验的整合，旨在增强混合模型的共生优化能力。

3实验分析

实验数据

为验证提出DNA-HS框架在不同认知识别任务下的性能，此研究采用三个EEG数据集。

（1）SEED（公开）：一种基于情绪状态的认知识别任务，即情绪识别。SEED数据集是由上海交通大学 BCMI 实验室提供的公开数据集。

（2）FAAD（自行采集）：一种疲劳状态相关的认知识别任务，即疲劳检测。FAAD数据集是研究团队与罗马大学联合采集的EEG数据集。

（3）ADMH（自行采集）：一种认知障碍相关的认知识别任务，即认知障碍评估。ADMH数据集包含三种认知功能状态：阿尔兹海默症（Alzheimer Dementia，AD），轻度认知障碍（Mild Cognitive Impairment，MCI）以及健康对照组（Health Control，HC），由三种情绪状态（积极、中性和消极）诱发。该数据集是研究团队与浙江中医药大学联合采集的EEG数据集。

结果分析

为了验证DNA-HS的有效性和泛化能力，作者在不同结构的混合网络上进行了基于留一法LOSO交叉验证策略的EEG跨被试分析实验，同时在多个EEG数据集上的进行了性能评估，如表1所示。

表1. DNA-HS框架在不同ANN和SNN基准网络上的性能表现（%）。

在SEED数据集上，基于DNA-HS的ResNet18在共优化训练后实现了最高的性能，其中ANN和SNN的性能分别为68.25%、67.15%，在Pre-training的基础上性能提升分别为4.59%、4.23%。ANN和SNN综合提升幅度最大的为VGG5，分别提升了6.09%、4.27%。在FAAD数据集上，Co-training同样在ResNet18上达到了最高的准确率，ANN和SNN分别为94.91%、96.91%，和Pre-training相比提升的幅度也是最大，对应为3.71%、4.90%。在ADMH数据集上，基于ResNet18的ANN和SNN实现最高准确率为66.33%、64.96%，在AlexNet上的性能提升最大，分别为12.16%、11.47%。总结来说，基于DNA-HS框架构建的七种混合共生网络，在SEED、FAAD和ADMH数据集上均有不同程度的性能提升，平均提升5.08%。

图4. 基于PGA的ANN和SNN遗传迭代过程中的性能表现

图4展示了ANN和SNN混合网络遗传迭代过程中的共生优化结果，即每次遗传迭代产生的Top-k网络对应Fitness值的变化。以方框图的形式标明了ANN和SNN遗传迭代过程中的Top-5 Fitness值，并以折线图的形式展示了PGA的收敛过程。随着遗传代数的增加，ANN和SNN对应的Fitness值均呈上升趋势，这意味着在DNA-HS框架中，ANN和SNN在遗传代数中不断优化，PGA在迭代早期趋于收敛，在后期保持稳定。

4结论

我们发现，DNA-HS框架能够充分发挥ANN和SNN的优势，通过基于PGA的双向互利交互实现不同网络间的共生优化，并能适应各种认知识别任务。共优化训练过程中，网络参考另一个网络的学习经验以补充自身没有涉及到的知识，从而让该网络跳出局部优化区间，通过学习更广泛的知识来提升自身的鲁棒性，最终以双向互利交互的模式进一步实现混合网络间的共生优化。网络共生概念的提出有利于促进人类认知和人工智能的协同发展。

5作者介绍

曾虹，研究领域：人工智能、脑机交互、认知计算。杭州电子科技大学脑机协同智能技术国际联合研究中心（科技部）和浙江省脑机协同智能重点实验室成员。

赵月，研究领域：人工智能、认知计算、脑机交互。浙江农林大学数学与计算机科学学院计算机科学与技术学科专任教师。

孔万增，研究领域：人工智能与模式识别，嵌入式可穿戴计算，脑机交互与认知计算。浙江省脑机协同智能重点实验室主任，脑机协同智能技术（科技部）国际联合研究中心常务副主任。

戴国骏，研究领域：人工智能，认知计算。脑机协同智能技术（科技部）国际联合研究中心（科技部）主任。

仅用于学术分享，若侵权请留言，即时删侵！

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

欢迎来稿

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

点击投稿：

2.加入社区成为兼职创作者，请联系微信：RoseBCI

一键三连「分享」、「点赞」和「在看」

不错过每一条脑机前沿进展