脑机接口上的“AI 仪表盘”，让普通人也能读懂

在今天的数字时代，大脑已不再是一个孤立的存在。脑机接口技术将人类思维与外部世界连接起来，使外界能够“读懂”我们的心声，我们也能通过思考来控制外部设备或接收信息。

但随之而来的挑战是，这些高深莫测的技术如何能为普罗大众所理解，从而得到普遍应用？试想，如果我们能对大脑发出的每一个信号了如指掌，那便能自行操作复杂的脑机接口设备，甚至预测和治疗神经和精神疾病。然而，大脑的复杂性使得解读这些信号变得极具挑战。传统人工智能方法虽然能提供解释，但这些解释往往难以被非专业人士所理解。

为解决这个问题，印度理工学院Yogesh Kumar Meena领衔的研究团队提出了一种新的思路：应用于脑机接口的可解释人工智能技术（XAI4BCI）。他们试图将人工智能的解释能力与大脑信号结合，让我们能更直观地理解脑机接口，让这门技术不再是科学家的专属，而是融入每个人的生活。

▷原始论文，Explainable artificial intelligence approaches for brain-computer interfaces: a review and design space。

什么是“可解释人工智能”？

根据《剑桥词典》的定义, “解释”（explanation）一词的含义为“某人为使某事清晰或易于理解而给出的细节或理由”。在可解释人工智能的语境中，研究人员对此进行了扩展：“对特定受众来说，可解释人工智能是一种能提供细节或理由，而使某功能变得清晰或易于理解的人工智能。”

诚然，“解释”并不代表“理解”（understanding），尽管人们经常把这两者混为一谈。你肯定有过这样的经历：别人费尽心思向你解释某个概念，你却仍然一头雾水。这正在是目前可解释人工智能所面临的挑战。

虽然人工智能系统本身也有能力给出解释（如决策树、支持向量机等），但这些解释并不一定易于理解。例如，如果让人工智能解释“预测”（prediction）这个词，它可能会说：“参与预测的神经元由于前几层中n个神经元的一连串激活而被触发”。对于大多数人来说，这并不是一个易于理解的解释。类似的，在预测模型中人工智能喜欢用准确率、f-score、Cohen-kappa等测量方法来解释某种算法的性能，但它们并不能解释为什么此算法会达到这样的性能。

尽管人工智能提供了解释，却不是一个“好的解释”。此外，解释的受众也很重要——向数据科学家解释“决策”的方式，与向神经科学家或病人解释“决策”的方式，有着天壤之别。

因此，我们需要通过“诠释”（interpretation）来把拙劣的解释转化为易于理解的解释。本论文则系统介绍了人工智能如何通过诠释把复杂的脑机接口变得直观明了，以增强用户对使用脑机接口的信任。通过诠释的一般结构，我们能够：

（1）以更清晰的视角看待人工智能领域中经常交替使用的术语：解释、理解和诠释；
（2）设计一个通用架构来使人工智能产生通俗易懂的解释；
（3）建立一个统一的视角让人工智能为不同受众提供解释。

应用于脑机接口的可解释人工智能

脑机接口可以通过大脑向机器传输信号，并解读这些大脑信号来分类行为、诊断模式和预测行动。大脑信号的复杂性和人工智能模型的“黑箱”特性，让这些听起来像是直接从科幻小说中走出来的天方夜谭。

脑机接口技术的广泛接受程度依赖于其能否向普罗大众提供清晰的解释。例如，向使用者澄清，即使是最先进的脑机接口，通过辨别在单次试验中与事件相关的电位振幅，也不可能实现像科幻电影中的读心术那样的功能，这至关重要。

可如今，就连最先进的人工智能算法都缺乏透明度，这进一步加剧了人们对脑机接口的陌生和不信任，尤其是在医疗和健康等高风险应用中。随着神经网络模型规模的增加，其准确率可能提高，但可理解性往往也可能降低。因此，这里面存在一个准确性和可解释性彼此之间的权衡问题。

为了在保持准确性的同时解决人们对脑机接口的信任鸿沟，研究人员提出了一个针对脑机接口应用的可解释人工智能设计空间（design space），包括四个关键维度：信号空间、任务空间、用户空间和分析空间：

（1）信号空间：定义捕捉大脑活动的手段；

（2）任务空间：定义大脑的认知活动；

（3）用户空间：代表用户大脑信号的个体差异；

（4）分析空间：代表研究人员对分析大脑信号所用的处理技术。

▷图1：可解释的人工智能是开发安全可信的脑机接口的透视镜。

这个设计空间的目标通过“人在回路”（human-in-the-loop）的方式，将人类和人工智能联通，共同创建脑机接口的预测模型，让人们参与到一个良性循环中来训练和调试算法。通过这种方式，我们可以将原本作为黑箱的复杂预测模型转变为可见、可信赖的技术（如图2）。

▷图 2：脑机接口的可解释人工智能旨在协助环内的人类。

接下来，我们将尝试逐个回答6个研究问题，还将探讨XAI4BCI的设计空间，包括了四个关键变量（即 “是什么”、“为什么”、“谁”、“如何做”）及其相应类别。这种全面细致的视角将为包含可解释人工智能的脑机接口系统的设计和实施提供指导。

问题1：为什么要解释脑机接口？

要深入理解脑机接口的工作和应用，就必须明白为何需要解释它们。深入探究脑机接口背后的驱动因素能够帮助我们理解和信任这项技术。这些驱动因素将有助于人们把诠释模型概念化，从而在人工智能生成的原始解释上进行加工，以产生更易于理解的解释。以下是对脑机接口进行解释的四个主要驱动力（如图3）：

（1）为了发现：脑机接口不仅仅是工具，它们也是探索未知的窗口。通过解释脑机接口的预测模型，我们可以揭示大脑的基本功能，如感官刺激和决策过程等，从而发现前所未有的知识。

（2）为了说明：脑机接口的利益相关者需要对模型生成的预测（尤其是对高风险结果的预测）进行说明，以建立人与机器间的信任，并评估人工智能系统的可靠性。例如，用于诊断脑部早期疾病的脑机接口可能需要强调脑部信号的某些异常，以便向专家证明其决定的合理性。

（3）为了控制：脑机接口的有效使用需要精确的校准和控制。通过提供解释辅助界面，用户可以更好地理解如何操纵和控制这些复杂的系统，从而实现更精确和自如的交互。

（4）为了改进：人工智能系统经常通过主动或被动的反馈循环来自我改进。提供解释有助于突出统计数据和结果之间的因果关系，避免数据中的偏差和噪音。

该研究统计得出，可解释人工智能用于脑机接口的主要驱动力为：

为模型学习到的特征寻求说明和神经生理学验证，其次是将其应用于模型改进和调试中。

▷图3：将可解释人工智能应用于脑机接口研究的驱动力

问题2：谁是解释脑机接口的受益对象？

在理解脑机接口及其广泛应用的过程中，不仅仅要理解技术本身，还要明白这项技术对不同群体意味着什么。这就引出了一个重要的问题：谁是这项技术的利益相关者？

了解这些相关方及其需求，对于确保脑机接口技术的正确解释和有效应用至关重要。同样，为了达成“人在回路”的目标，解释脑机接口的任务并非一成不变，它需要针对不同受众进行调整。

（1）终端用户：他们是技术的直接受益者，可能包括健康人群、患者或服务提供商的客户。他们的需求主要集中在如何使用、安全性、可靠性以及预期效果等方面。

（2）领域专家或研究人员：在神经科学、生理学、应用生物统计学等领域的专家，他们通常关注于技术背后的科学和研究进展。他们可能需要深入的技术解释，以及如何将新的研究成果或理论应用于改进现有技术。

（3）行业、经理和高管：这些人可能是技术的决策者或影响者，间接参与脑机接口或相关服务的概念化、生产和商业化的个人。他们关心的是如何将脑机接口技术商业化，以及它对市场的潜在影响。

（4）监管机构：参与政策制定和执行的个人，积极参与脑机接口技术的管理和道德规范。他们需要理解技术的工作原理和应用场景，以便制定合适的政策和法规。

（5）开发人员、设计人员：直接参与脑机接口系统设计和工程的人员。对这群人来说，理解脑机接口的工作原理、可能的技术挑战和改进空间是至关重要的。

通过识别和理解这些利益相关者的需求和角色，我们可以更有效地解释脑机接口，确保信息的传达既准确又对口。这种深入的理解和沟通对于技术的接受度、应用和进一步的创新至关重要。因此，解释脑机接口并非单向传达，而是一个涉及多方、多层次需求和期望的复杂过程。

问题3：解释脑机接口可以应用于哪些行业？

在确定需要哪些解释，以及对谁进行解释之后，还要考虑脑机接口技术的应用领域。例如，娱乐领域的脑机接口可能更注重用户体验和互动乐趣，而医疗领域的脑机接口则需要重视精准度、可靠性和对复杂决策的解释。

目前，脑机接口技术已从用于交流和康复的辅助设备发展到神经反馈和娱乐技术。而随着脑机接口对公共数据集需求的增加，人们对用于辅助技术和康复应用的运动图像和运动解码也产生了显著兴趣（图4）。

（1）辅助技术：用于交流、移动、环境控制和增强认知；

（2）康复和假肢：评估和促进截肢或脑损伤后的功能和活动能力；

（3）认知诊断和治疗：疾病检测、神经反馈和训练；

（4）娱乐技术：游戏、电子竞技、虚拟现实和生成艺术。

随着脑机接口应用范围的不断扩大，它也有望在游戏和娱乐技术等低风险领域被大众接受。这时，一个机会点也逐渐显现，即建立通用平台，以测试和评估不同数据集和任务中的模型性能，以及鼓励对新型模型技术的可解释性进行基准测试。

▷图4：采用可解释人工智能进行脑机接口认知任务的趋势。在可解释性方面，运动和图像是脑机接口最多的研究领域之一。

问题4：如何解释脑机接口？

一个“好的解释”通常需要一个合适的界面。试想，如果要向一位油车车主解释新能源汽车在节能环保上的优势，若是使用专业的工程术语和复杂的技术图表，可能会使信息难以理解，进而丢失该用户。而一个简单易懂的虚拟模拟仪表板，通过图形和直观的能量转化动画来表示引擎、能耗、车速、甚至产生费用等信息，就可以让车主直观地了解车辆的状态和性能优势。所以说，合适的界面表达对于解释来说至关重要。

对于脑机接口而言，这意味着需要将复杂的神经科学和机器学习原理翻译成可视化、直观和容易理解的信息。不同的解释界面和技术各自扮演着独特的角色，以帮助不同的利益相关者理解和信任脑机接口技术：

（1）频谱图：神经振荡是认知活动的标志，频谱图记录了大脑在不同状态和活动下的电活动模式。频谱图有助于以独特的视角来对认知、情绪、睡眠等认知活动进行解释。

（2）时间模式：特定的时间模式已被确定为某些已知刺激或认知活动的代表。例如，当捕捉到的信号与刺激物相位锁定时，就可以比较不同个体的反应，并找出共同的模式。

（3）空间地图：空间图便于在二维或三维度上可视化测量大脑活动的不同形态，可在传感器层面（传感器位置）或源层面（已确定的源大脑区域）表示。

（4） 特征相关图：将测量到的信号视为预测模型的特征，相关性分数则表示特定特征在决策中的作用。

使用合适的解释界面，利益相关者们就可以很容易地理解关于脑机接口。而对于每个界面，相应使用到的可解释人工智能技术可分为：

（1）基于SHAP的方法，包括 SHAP 和DeepLIFT/DeepSHAP，它们提供了一种解释模型决策背后的贡献度的方式；

（2）基于相关性的方法，包括分层相关性传播和积分梯度，它们能够识别哪些输入特征对模型的预测最为重要；

（3）基于类激活图的方法，包括显著图、GradCAM等，通过突出显示输入的哪些部分对模型的决策最重要来提供直观的解释；

（4）使用注意力、自定义过滤器或权重的可视化技术；

（5）其他技术，如 LIME、基于树的 t 分布随机邻域嵌入（t-SNE）、遮挡敏感度分析、模糊规则解释等，这些方法提供了一种定制化的方式来解释模型的工作机制。

图5直观地展示了脑机接口解释方法的性质以及常用的界面。研究显示，在执行指定认知任务时生成的空间地图，有助于直观地解释大脑区域和空间形态，从而根据分析结果向利益相关者揭示更多见解。例如，有学者利用可解释人工智能了解模型所学特征随逐次试验的变化，以调试和改进性能[1]；也有学者通过将传感器信号转换到模型中的源空间来实现可解释性[2]。

▷图5：为向利益相关方解释脑机接口而使用的界面。

问题5：如何让脑机接口设计空间透明可信？

在探索针对脑机接口应用的可解释人工智能设计空间时，我们必须考虑一系列基本要素或“基元”，基元共同构成了可解释人工智能在脑机接口应用中的框架。正如字母和数字组成了拼字游戏的基础一样，这些基元组成了脑机接口设计的核心。

上文中，我们讨论了这些用于脑机接口的基元：脑机接口的驱动力（“为什么”）、利益相关者（“谁”）、应用领域（“是什么”）、界面（“如何做”）。结合这些元素，就可以构建一个全面的、以人为中心的XAI4BCI设计空间，以适应和促进“人在回路”的脑机接口，进而实现下一步技术飞跃。图6利用和弦图*（chord diagram）帮助我们直观地了解XAI4BCI的设计空间变量。

*和弦图是一种显示数据之间关系的图形方法。它用于直观显示一组有限实体之间的联系或关系。实体在图的周边用圆圈表示，它们之间的联系用弦来表示。弦线的宽度可用来表示连接实体之间关系的强度或频率。

▷图6：XAI4BCI的设计空间变量及其关联。

问题6：如何促进脑机接口的可解释性？

为了深入理解并提升脑机接口的可解释性，我们需要识别和分类可用的解释类型。这些解释类型包括：

（1）类似定律的陈述：在认知过程中确定的物理和化学定律。例如，神经元之间信息传递过程中涉及神经递质的释放。

（2）统计规律：通过对脑信号的分析和建模，来发现和确认那些能够描述和预测脑活动的普遍性规律。例如，当大脑信号表现出特定的模式时，模型能够以95%的概率确认用户正在进行专注的认知任务，而在其他状态下，确认用户处于休息状态的概率为85%。

（3）因果关系：利用人工智能或专家知识进行因果推断，得出驱动现象的因果过程和相互作用。通常，来自脑损伤研究和脑刺激的信息可提供大脑功能的因果关系。

（4）实体和活动：实体和相应的活动通过解释演变成机制。例如，在视觉系统中有一个专门负责识别人脸的识别网络。这个网络中识别的实体是人脸特征，如眼睛、鼻子、嘴巴等。当视觉输入中包含人脸时，大脑中负责人脸识别的区域会被相应地激活，这个机制就可以解释输入中的这些实体。

在人工智能领域，许多模型自身就具备易于解释的特性。例如，线性模型（如线性回归或支持向量机）可以通过与每个特征相关的系数来解释每个特征对模型输出的影响。决策树通过树状结构的路径提供了决策过程的直观解释。基于规则的系统（如专家系统）则使用人类可理解的逻辑规则来表达决策。

虽然神经网络通常被认为是黑箱，但也有一些技术可以让神经网络更容易被解释，例如注意力机制可以突出模型所关注的输入的特定部分，层相关性传播（LRP）可以为每个输入特征赋予相关性。为脑机接口选择一种可解释的人工智能技术取决于要检测的大脑反应类型、模型的复杂性以及所需的可解释性水平，即是否有必要从源头上定义被激活的大脑区域。

想要为脑机接口的某个决策溯源，我们有必要对解释加以诠释。虽然仅仅回答了“发生了什么？”的解释是充分的，但能够回答“为什么会发生？”的解释则是必需的，这也正是脑机接口的利益相关者寻求解释的初衷。

例如，我们正在研究一种通过脑电信号来控制一个机械手臂的脑机接口。我们想要为用户的一个特定决策（如用机械手臂抓取一个物体）进行溯源，理解这个决策是如何形成的。如果仅仅是回答“发生了什么？”的解释（充分的解释），那么解释为：用户的大脑发出了特定的电信号模式。

而回答“为什么会发生？”的解释（必需的解释）则为：（1）在用户的大脑中，特定的神经网络被激活，产生类似与抓取动作相关的认知决策；（2）这种认知决策引起了特定的脑电信号模式；（3）脑机接口系统学习了这一模式与抓取动作的关联，因此能够解释这一模式为一种控制信号；（4）机械手臂收到控制信号，执行相应的动作，例如抓取物体。

可以看出，通过后者我们能够更全面地理解脑机接口决策形成的原因，满足利益相关者对于决策机制的深层次解释的需求。因此，如果脑机接口预测模型的解释不够充分，则有必要进行进一步的诠释，来回答“为什么会发生”。为实现这种深层次的解释，可应用以下几类诠释策略：

（1）全局或局部诠释：全局诠释关注模型的整体行为和规则，而局部诠释则聚焦于特定实例或决策。例如，要解释脑机接口驱动的机器人向右转弯的决定是否合理，解释特定实例（局部）比解释模型学习到的基本导航规则（全局）要更容易理解。因此，在解释中可以根据需要和清晰度，选择全局诠释或者局部诠释。

（2）近似或同构诠释：在诠释复杂解释的过程中，近似法能帮助理解。例如，与其解释与诊断大脑活动异常相关的所有特征，不如只通过提供突出特征来近似复杂的解释，这样可能会简单易懂，便于说明理由。

（3）特定于模型或与模型无关的诠释：诠释技巧可以针对所选模型，也可以与模型无关。前者专门为特定类型的模型而设计，以帮助我们理解每个部分（比如网络中的每个神经元或层）是如何对最终决策产生影响。后者则是一些通用的解释技术，它们可以用在各种不同类型的模型上。最新的一些技术通常用于解释神经网络学习到的权重，通过分析这些权重，我们可以了解网络在处理数据时更关注哪些方面，哪些输入特征对预测结果影响更大。

综上所述，XAI4BCI的设计空间为解释脑机接口的决策提供了更全面的视角，有助于设计任何包含可解释人工智能的脑机接口系统（如图7）。

▷图7：XAI4BCI的设计空间有助于开发可解释的脑机接口。

讨论与展望 让符号人工智能与机器学习并驾齐驱

在探讨脑机接口技术和可解释人工智能的融合时，我们必须重视人类在这一交互过程中的作用。人类不仅是脑机接口的使用者，也是评估和分析这项技术性能的关键角色。在脑-机沟通中，需要有效的交流、信任、清晰度和理解，而XAI4BCI通过结合符号人工智能和机器学习为这些挑战提供了解决方案。

例如，混合模型可以同时包含数字和符号部分，其中神经网络负责特征提取和数值处理，而符号推理引擎则负责解释结果并根据逻辑规则作出决策（图8）。

▷图8：用符号和数字结合的解释框架全面辅助XAI4BCI。

把可解释人工智能作为脑机接口的工程工具

将可解释人工智能应用作为脑机接口的工程工具的重要性体现在两方面。一方面，在辅助和娱乐技术的脑机接口应用中，它能优化环境控制并提升模型性能。另一方面，在科学研究领域，特别是用于诊断和康复的脑机接口，可解释人工智能被用来验证模型的预测并探索神经生理机制。

例如，有报告称对抗噪声（adversarial noise）对脑机接口所用的模型有很大影响[3-5]。可解释人工智能在研究其他领域模型中，对对抗性噪声的鲁棒性方面发挥了至关重要的作用。有学者提出利用解释来改进模型[6]，包括增强训练过程的不同组件或调整已训练模型，这些研究还显示了解释如何帮助模型提高泛化能力和推理能力。然而，在工程应用的准确性与可解释性之间的权衡方面，往往优先考虑准确性。

把可解释人工智能作为脑机接口的研究工具

可解释人工智能的作用不仅仅是提供对模型预测的理解，还能揭示与大脑反应动态相关的深层神经机制。在诊断和康复的应用中，脑机接口的性能解释对于验证模型预测的正确性至关重要，而可解释人工智能提供了强有力的手段来实现这一点。有学者使用可解释人工智能从脑磁图（MEG）数据[7]，成功识别出在伸手运动过程中处理运动参数（即加速度、速度和位置）的大脑皮层。除侵入性单神经元研究或大规模相干性研究外，可解释人工智能还提供了新的途径来研究大脑的运作机制。

可解释人工智能的拓展

当脑机接口模型或系统的决策难以被解释时，它们就难以被用户接受。因此，我们需要为脑机接口的性能提供清晰的解释，无论是在运作良好还是不良的表现下。特别是，当用户无法控制脑机接口，向用户（和用户家属）解释它为什么不起作用就变得至关重要。同样，脑机接口也有必要解释为什么有时性能很高，为什么它有时工作异常，也就是应该提供包括硬件故障在内的全面解释。

虽然该研究的设计空间XAI4BCI提议在解释框架中纳入确定性法则、因果关系和机制，但很少有人讨论将特定领域的知识库纳入解释框架。添加知识表征、通过回路内的人员反馈来整理数据，以及学习如何减少模型和数据中的偏差，都有助于建立一个强大的解释框架。这一研究方向仍有待探索。

可解释人工智能的陷阱

目前的可解释人工智能技术也存在缺陷。有学者根据其意图将其分为两种：黑暗模式和陷阱模式[8-9]。“黑暗模式”旨在人工智能通过操纵对脑机接口的解释来伤害用户，而“陷阱模式”则是因一些知识盲区而导致人工智能产生了副作用。例如，有学者讨论了脑机接口研究中关于解码模型可解释性的一个常见误区[10]。他们强调，虽然解码模型旨在预测大脑状态以控制脑机接口，但往往存在一个隐性的假设，即这些模型的参数可以很容易地从大脑特性的角度进行人为解释。

在解读多元分类器（multivariate classifier）的权重时（尤其是在根据这些权重做出决策时），即使是对于较简单的线性模型，神经成像相关研究者也经常讨论误读分类器权重存在的潜在隐患。因此，提高脑机接口模型的可解释性至关重要，应提供有意义的准确解释，以避免潜在的错误和后果。

可解释人工智能的局限性

人类普遍倾向于过度信任从有限数据集中得出的特定解释。但过度、盲目的信任存在巨大风险。因此，我们需要在设计和实施脑机接口系统时采取措施，防止利益相关者在决策中引入偏见。这意味着设计空间需要进一步发展，解释界面必须突出这一警示，提醒用户注意这些解释的潜在局限性和风险。例如，即便大脑的空间地图显示了模型预测的权衡位置，也不能保证这些大脑区域就是进行预测的最佳区域。这最终需要由利益相关者来识别和判断，以避免可能的错误。

尽管XAI4BCI有助于开发可视化解释，促进不同模型间解释的标准化比较，但如何客观评估这些解释并开发相关的评估指标仍然是一个重要的研究方向。

结语

脑机接口技术的成功不仅取决于性能指标的优化，更依赖于我们能否全面理解和解释其工作机制。性能固然重要，但它只代表了在实验室受控环境之下的可用性。在实际应用中，我们更需要的是理解和解释技术的工作原理，以及在面临预期之外的情况时调整和应对的方法。正是这种对技术深入理解的能力，让人们对脑机接口的预测模型产生信任，帮助所有利益相关者做出更加明智、更具前瞻性的决策。

脑机接口技术的发展不应局限于软件或算法层面。它是一个跨学科领域，涉及神经科学、认知科学、工程学等多个领域。我们需要将这些领域的知识和方法整合到模式识别、信号处理等脑机接口核心技术中，以确保脑机接口系统不仅在实验室环境下有效，也能在复杂多变的现实世界中稳定运行。

此外，随着脑机接口技术逐渐走向临床和商业化，对其硬件组成的理解和解释也变得极其重要。这包括传感器的选择和放置、信号的采集和滤波器的设计等，每一个决策都需要基于对系统如何工作的深刻理解来做出。

在此基础上，XAI4BCI的兴起，正是对当下人工智能领域的一种回应。虽然数字人工智能历来都是焦点，但要构建能与人类进行共生互动的更具弹性的系统，就必须纳入符号人工智能。这种多角度、多方位的方法旨在提高脑机接口的性能并加强这个技术与不同受众的交流，为可解释的脑机接口领域的进步奠定基础。

XAI4BCI不仅是技术的进步，更是向全面、透明、可信赖的未来迈出的坚实一步。

原始论文： Rajpura, Param, Hubert Cecotti, and Yogesh Kumar Meena. "Explainable artificial intelligence approaches for brain-computer interfaces: a review and design space." arXiv preprint arXiv:2312.13033 (2023). https://arxiv.org/abs/2312.13033

• [1] Aellen, F. M., et al. "Convolutional Neural Networks for Decoding Electroencephalography Responses and Visualizing Trial by Trial Changes in Discriminant Features." J Neurosci Methods 364 (2021): 109367. Print.
• [2] Petrosyan, A., et al. "Speech Decoding from a Small Set of Spatially Segregated Minimally Invasive Intracranial Eeg Electrodes with a Compact and Interpretable Neural Network." J Neural Eng 19.6 (2022). Print.
• [3] Zhang, X.; Wu, D.; Ding, L.; Luo, H.; Lin, C. T.; Jung, T. P.; Chavarriaga, R. "Tiny Noise, Big Mistakes: Adversarial Perturbations Induce Errors in Brain–Computer Interface Spellers." National Science Review 8.4 (2021). Print.
• [4] Meng, L.; Jiang, X.; Wu, D. "Adversarial Robustness Benchmark for Eeg-Based Brain–Computer Interfaces." Future Generation Computer Systems (2023). Print.
• [5] Zhou, X.; Liu, C.; Zhai, L.; Jia, Z.; Guan, C.; Liu, Y. . "Interpretable and Robust Ai in Eeg Systems: A Survey." arXiv preprint (2023). Print.
• [6] Weber, L.; Lapuschkin, S.; Binder, A.; Samek, W. . "Beyond Explaining: Opportunities and Challenges of Xai-Based Model Improvement." Information Fusion (2022). Print.
• [7] Kim, H., J. S. Kim, and C. K. Chung. "Identification of Cerebral Cortices Processing Acceleration, Velocity, and Position During Directional Reaching Movement with Deep Neural Network and Explainable Ai." Neuroimage 266 (2023): 119783. Print.
• [8] Anders, C.; Pasliev, P.; Dombrowski, A. K.; Müller, K. R.; Kessel, P. "Fairwashing Explanations with Off-Manifold Detergent." International Conference on Machine Learning (2020). Print.
• [9 ]Chromik, M.; Eiband, M.; Völkel, S. T.; Buschek, D. "Dark Patterns of Explainability, Transparency, and User Control for Intelligent Systems." IUI workshops (2019). Print. (2023).https://doi.org/10.1038/s41586-023-06819-6
• [10] Haufe, S.; Meinecke, F.; Görgen, K.; Dähne, S.; Haynes, J. D.; Blankertz, B.; Bießmann. "On the Interpretation of Weight Vectors of Linear Models in Multivariate Neuroimaging." Neuroimage (2014). Print.