通过事件驱动的前向-前向过程学习脉冲神经系统

LEARNING SPIKING NEURAL SYSTEMS WITH THE EVENT-DRIVEN FORWARD-FORWARD PROCESS2303.18187

通过事件驱动的前向-前向过程学习脉冲神经系统

摘要

我们提出了一种新型的信用分配算法，用于无反馈突触的脉冲神经元信息处理。具体来说，我们提出了一种事件驱动的通用化方法，扩展了前馈-前馈学习过程和预测前馈-前馈学习过程，用于脉冲神经系统，该系统在刺激窗口内迭代处理感官输入。因此，递归电路计算每一层每个神经元的膜电位，作为局部自下而上、自上而下和横向信号的函数，从而促进了层级化、并行的神经计算方式。与依赖反馈突触调整神经电活动的脉冲神经编码不同，我们的模型纯粹在线并沿时间向前运行，提供了一种有前景的方式，通过时间脉冲信号学习感官数据模式的分布式表示。值得注意的是，我们在多个模式数据集上的实验结果表明，事件驱动的前馈-前馈（ED-FF）框架在训练动态递归脉冲系统方面表现良好，能够进行分类和重建任务。

关键词：前馈学习·类脑计算·脉冲神经网络

1 引言

“致命计算”[25]的概念挑战了目前通用计算机构建的基本原则。具体来说，当前的计算是由软件与硬件的强分离推动的，也就是说，软件中编写的程序所包含的知识是“永生的”，可以复制到硬件的不同物理副本中。机器学习模型和算法可以视为根据数据调整自己的程序，也依赖于这种分离。相比之下，致命计算意味着一旦硬件介质故障或“死亡”，其中编码的知识也将“死亡”或消失，这与生物有机体失去维持稳态的能力时所发生的情况相似。尽管将软件的命运与硬件紧密绑定可能看似是一个劣势，但放弃计算的永生性可以带来重要的承诺，即大幅节省能源使用，并降低执行所需计算的硬件成本。朝着致命计算的方向发展，解决了人工智能（AI）研究中最近出现的一些问题和疑问[1, 4, 75, 69, 61]：我们如何设计不会增加计算和碳成本的智能系统？本质上，推动从“红色AI”转向“绿色AI”[69]，是致命计算自然促成的目标。

如[54]中进一步论证，向致命计算的转变还可能涉及挑战深度学习中的另一个重要分离——推理与信用分配的分离。具体而言，在深度神经网络中，包括最近驱动大型语言模型的神经变换器[11, 16, 5]，其训练数据集的拟合方式使得通过反向传播算法（backprop）进行的学习被视为与网络中信息传播机制完全分离的计算。相比之下，能够利用致命计算的适应性系统最有可能需要参与交织的推理与学习[60, 58, 55, 53]，神经生物学学习与推理的框架并不是两个完全独立的过程，而是相互依赖的互补过程，且这些过程的形成与基础神经电路的性质（以及实现它的硬件）紧密结合。在这个背景下，神经系统将基于运行的硬件属性，按照类似于稳态的约束，适应外部信息。从这个角度来看，研究类脑信用分配时，应该借鉴那些体现交织推理与学习的计算框架；重要的候选框架包括预测编码[62, 18, 72, 53, 66]、对比性赫布学习[45, 48, 68]和前馈学习[32, 25, 54, 31]，每个框架都有其优缺点。这一方向可能对AI研究至关重要，不仅提供了认知科学、计算神经科学与机器学习之间的又一个重要联系，而且为运行由数万亿突触组成的神经系统（如大脑）提供了一个关键手段，同时仅消耗几瓦特的能量。

在能够体现致命计算和交织推理与学习的硬件形式中，例如忆阻器[27, 76]、液晶空间光调制器[6, 13]、现场可编程门阵列（FPGAs）[34, 47]，神经形态芯片[19, 63]已经成为一个有前景的候选平台。神经形态平台提供了一种高效、低能的数值计算手段，促进了资源受限的边缘计算[33, 9]。脉冲神经网络（SNNs），有时被称为神经网络的第三代[38, 40, 39, 14, 15]，是一种特殊的类脑自适应系统，天然适合在神经形态硬件中实现。合理利用这些芯片的设计与特性，可以制定出体现致命计算的模型和算法设计。然而，开发有效、稳定的脉冲神经网络信用分配过程仍然是一个挑战，特别是在突触调整过程依赖于构成神经网络的离散脉冲神经单元特性的情况下。促进复杂脉冲神经网络动态学习的一个有前景的方向是将交织推理与学习的信用分配过程（如预测编码）推广到脉冲列级别。这样的系统计算应该具备以下重要特征：1）在脉冲通信中不需要可微性（因为应用于SNN的时间反向传播需要设计替代函数[43, 79]），2）在信息传播过程中没有前向锁定[29]（神经元层可以在不等待其他层更新的情况下计算其活动值），3）在突触更新阶段没有后向锁定[29]（一个神经元层的突触调整可以与其他层在时间上并行执行——更新在空间和时间上都是局部的），4）不需要反馈突触路径来计算突触变化。

本研究的核心贡献包括：1）设计了一种递归脉冲神经网络，根本上展现了层级并行性，受自上而下、自下而上和横向压力驱动，且不需要反馈突触路径；2）提出了一种事件驱动的前馈-前馈（ED-FF）信用分配过程，用于以在线、动态方式局部调整脉冲神经系统的突触，可能作为补充突触时序依赖可塑性（STDP）[3]的过程；3）提出了一种简单且快速的学习脉冲分类器的机制，无需依赖于FF和PFF系统所特有的昂贵能量分类方案；4）定量评估了使用ED-FF学习的脉冲系统的分类泛化能力。

2 使用事件驱动的前馈-前馈调整学习脉冲神经网络

2.1 循环脉冲神经电路动力学

上述递归脉冲系统的一个良好特性是它是逐层并行化的，因此不是前向锁定的（任何一层的脉冲活动都可以与其他层并行计算），而且，也不是后向锁定的（任何一层的突触更新都可以与其他层并行计算）。这与今天大多数（深度）脉冲神经网络设计形成鲜明对比，尽管有一些例外[50]，因为许多脉冲神经网络通常是前馈的，每一层脉冲神经元都依赖于前一层的脉冲活动，导致前向锁定的计算。我们的脉冲模型通过只强制执行泄漏积分器脉冲活动，依赖于仅仅是前一步（模拟步骤 t − 1 t−1）计算的活动，从而确保了这种重要的模型级并行性。

2.2 在线学习动态

我们事件驱动对比学习过程的一个关键构建块是追踪变量。具体来说，在上述的递归脉冲系统中，我们为每个神经层增加了一个额外的组件，用于维持所谓的活动变量追踪（或激活追踪）。形式上，这意味着对于每一层，变量追踪会动态更新，如下所示：

在本研究中，追踪时间常数设置为 τtr = 300 毫秒。重要的是，激活追踪可以平滑由脉冲模型生成的稀疏脉冲列，同时仍保持生物学上的合理性。特别地，追踪提供了一个动态的速率编码等效值，在我们的神经元层模型中，通常以内部钙离子浓度的形式维持在实际的神经元细胞中 [49]，即，变量追踪可以对应于与突触受体结合的谷氨酸。理想情况下，这将允许我们的局部适应规则通过脉冲信息进行，而不是像其他相关工作 [31] 中那样直接应用于电压或电流值，从而使其更接近类似 STDP 的学习。

有了上述的激活追踪，我们现在可以制定目标，每一层的脉冲系统将在每个模拟时间步中尝试优化。具体来说，在我们的突触调整过程中，即事件驱动的前向前向（ED-FF）学习中，我们提出通过将前向前向 [25] 和预测前向前向 [54] 学习规则中的良好性原理推广到脉冲神经元的情况，来调整上述递归脉冲模型中的突触强度。因此，代价函数呈现以下形式：

最后，为了完全模拟预测前向前向（PFF）适应过程（从而包含其重构/生成潜力），我们引入了一组额外的矩阵，包含生成性突触——这意味着我们将模型参数扩展为 Θ ⋃ Θg，其中。理想情况下，每个突触矩阵 G` 都直接连接到每一层 `，形成对 s`(t) 活动的局部预测，如下所示：

实际上，在本研究中模拟的脉冲神经系统在处理数据样本 (x, y) 时，试图通过计算在模拟步骤 t 时参数 Θ 当前状态下的突触调整，逐步优化上述序列损失，从而进行一种在线自适应。

2.3 基于脉冲驱动的分类及其快速近似

在算法1中，我们的脉冲系统在时间步t所经历的处理过程和突触调整（通过ED-FF实现）被完全指定，其中包括脉冲分类器。

3 实验

3.1 实验设置

数据集：MNIST数据集[35]专门包含10个不同类别的手写数字图像。Kuzushiji-MNIST（K-MNIST）是MNIST的一个具有挑战性的替代数据集，包含描绘手绘日本假名字符的图像[7]（每个类别对应字符的现代平假名对应物，共有10个类别）。对于这两个数据集，图像模式通过将像素值除以255归一化到[0, 1]范围内。得到的像素“概率”随后被用来创建感觉输入脉冲序列，即将归一化后的向量x/255作为多变量伯努利分布的参数向量。随后，在刺激窗口长度为T的每个时间步t上对该分布进行采样。需要注意的是，我们没有像其他与脉冲神经网络相关的研究那样进一步预处理图像数据。然而，我们指出，通过白化图像模式（尤其是在自然图像的情况下）或应用基于高斯感受野的神经编码群体结果的变换，可能可以获得更好的性能。

模拟细节：我们将我们提出的ED-FF过程模型与几种可比的脉冲网络基线进行了比较：1）使用直接随机目标传播（DTRP）[17]训练的脉冲网络分类器；2）使用广播反馈对齐（BFA）[67]训练的脉冲网络；3）使用基于电压的规则和基于欧几里得（L2）距离函数的局部代价的信号传播简化变体（L2-SigProp）[32, 31]训练的脉冲网络；4）使用简单泛化的局部分类器/误差（其中每个逐层分类器与整个神经系统联合学习）[44, 80]训练的脉冲网络。此外，我们还提供了一个速率编码的基线模型（即不使用脉冲序列的模型），该模型由经过调整的前馈神经网络（BP-FNN）通过反向传播训练而成。

在每种学习算法下模拟的网络模型均设计为包含两个隐藏层，每层有6400个漏电积分发放（LIF）神经元，连接突触的效力从标准高斯分布中随机初始化，并截断到范围[-1, 1]（ED-FF中的侧突触除外，其截断范围为[0, 1]）。所有模型进一步采用了与ED-FF系统所提出的相同设计的脉冲分类器（聚合所有层的脉冲向量输出），以确保公平比较（我们发现这些隐藏到输出层的突触在所有情况下都提高了泛化性能）。

由于所有责任分配算法（包括我们自己的）都可以支持小批量计算，我们使用200个模式的小批量（从训练数据集中随机采样且不重复）训练所有模型，以加快模拟速度，并使用Adam自适应学习率[30]（步长η=0.002）根据任何给定算法提供的更新来物理调整突触效力。每个数据点/小批量（x, y）被呈现给所有脉冲网络，刺激窗口为T=50步（或150毫秒，给定∆t=3毫秒）。最后，需要注意的是，所有脉冲网络都采用了ED-FF系统使用的相同自适应阈值更新方案——观察到这种机制在所有情况下都提高了训练稳定性。

3.2 基准分类结果

在表1中，我们展示了我们使用事件驱动的前馈学习训练的循环脉冲模型的模拟结果。请注意，与许多生物物理脉冲网络一样，尽管我们未能完全匹配基于反向传播的前馈网络的性能（本质上是一个纯粹的速率编码系统），但我们的泛化误差却出人意料地接近。鉴于预测上下文层本身是一个脉冲神经元层，这一结果尤其令人鼓舞。此外，与其它脉冲神经网络（SNN）责任分配算法相比，我们的ED-FF模型最接近BP-FNN速率编码基线。广播反馈对齐（BFA）SNN紧随其后，位居第二，这表明反馈突触仍然是一个相当强大的机制，尽管我们的目标是展示无需反馈的有效学习。我们指出，尽管在[50]中报告的脉冲预测编码模型在MNIST上报告了略低的泛化误差，但我们的比较并未包括该模型。该模型未被纳入，是因为它是无监督的，并且需要在其最顶层脉冲序列表示的速率编码近似上后拟合一个对数线性分类器（而本研究的重点是联合学习脉冲分类器与感官输入内部表示的脉冲模型）。

在图2中，我们考察了由使用ED-FF训练的循环脉冲网络诱导的潜在空间中出现的簇。为了计算潜在向量/编码，我们从每个数据点的顶层脉冲序列结果中形成一个近似的速率编码，具体如下：

在将测试集中的每个数据点x（不包括其上下文y）输入到我们的模型并收集其近似的顶层速率编码向量c后，我们使用t-分布随机邻域嵌入（t-SNE）[77]可视化出现的速率编码岛屿。请注意，在MNIST（图2a）和K-MNIST（图2b）中，与每个类别相关的簇自然形成，这定性地展示了为什么ED-FF脉冲模型能够有效地对未见的测试模式进行分类。对于K-MNIST来说，这一点尤其令人印象深刻，因为它被认为是这两个数据集中更具挑战性的，这意味着ED-FF适应能够从更复杂的模式中提取以类别为中心的信息。

最后，在图3中，我们考察了我们的ED-FF脉冲模型在MNIST和K-MNIST数据库中随机采样（不重复）的图像模式上的模式重建能力。通过计算最底层预测器输出脉冲的激活轨迹的平均值，生成了一个单一的图像重建模式，这些激活轨迹是在长度为T的刺激窗口期间收集的，具体如下：

理想情况下，我们看到ED-FF模型能够合理地重建图像模式，这表明它能够在其生成性突触中编码信息，这些信息对于解码其内部LIF神经元层产生的非常稀疏的脉冲序列表示是有用的。需要注意的是，在评估重建能力时，上下文

y

3.3 图像块级表示

我们最后简要研究了我们的脉冲系统在图像块上下文中的表示能力。具体而言，我们从MNIST数据库的一个子集（1000个图像模式，每类10个）中提取了8×8和12×12像素的图像块，并使用ED-FF程序训练了一个模型，该模型的两层均包含2000个LIF单元。训练模型的最底层（即第`=1层）所学习的感受野对于这两种图像块设置的结果如图4所示。最底层的感受野是通过随机采样（不重复）突触矩阵W1的100个切片提取出来的，以便进行可视化。如图4所示，感受野在不同分辨率下提取了基本模式；在较小的8×8图像块模型中，我们看到了简单模式的出现，例如不同方向的边缘或笔画片段（“笔画元”），而在较大的12×12图像块模型中，我们观察到的模式部分看起来像是可以用来组成更大数字的“小模板”。

3.4 讨论

关于局限性：尽管我们提出的用于训练循环脉冲网络的在线对比性单向责任分配过程是很有前景的，但仍有几个局限性需要考虑。首先，尽管我们设计的脉冲模型使用了有界突触值（介于-1和1之间），但它并不使用严格正值，这是神经生物学的一个重要特征（我们不能有负的突触效力）。这是一个不幸的局限性，而且由于在模拟学习过程中突触值的符号可能会发生变化，这一问题变得更加严重。尽管如此，我们指出，通过将所有突触限制在[0, 1]范围内，并引入一组额外的脉冲抑制性（或相互抑制性）神经元与每一层耦合，从而提供由负突触强度提供的抑制/抑制信号，这一问题可能得到潜在的解决。抑制性神经元与兴奋性神经元的比例还可以进一步调整，以更好地符合戴尔定律（Dale's Law）[73]。未来的工作将探索这种可能的重新表述，因为负突触提供的反向压力对于基于优劣的对比目标（如ED-FF所采用的）正常工作是至关重要的——理想情况下，抑制性神经元应该提供类似类型的反向压力。

除了使用没有符号约束的突触之外，我们当前的模型没有包括不应期，仅实现了瞬间的去极化形式。然而，这可以通过修改公式3来轻松纠正，以加入绝对不应期，正如在[50]中所做的那样。此外，我们在公式4、16和22中提出的自适应阈值是根据每一层`在时间t的总脉冲数计算的，而从生物物理角度来看，每一层中的每个LIF单元适应其自身的特定标量阈值会更符合实际。‍

最后，关于事件驱动的前馈学习过程本身，尽管我们成功地设计了一个在脉冲级别运行的简单更新规则（通过一种生物学上合理的激活轨迹），但仍然存在这样的缺点：该规则与其速率编码的灵感来源[25, 54]一样，需要正样本和负样本来计算突触调整。在本研究中，我们利用了标签易于获取的事实，将其作为自上而下的上下文信号，这使得合成负样本变得容易——我们只需要选择一个错误类别的标签来创建负上下文。然而，为了将基于前馈的自监督学习推广到一个自给自足的框架，需要开发一种机制，仅基于感官输入（而不是借助明确的上下文）来产生负样本。一种可能的方法是利用ED-FF脉冲模型的预测/生成性突触来产生数据虚构，这些虚构可以作为即时的、动态的负模式（正如在速率编码的PFF算法[54]中所提出的）。然而，通过我们脉冲模型的生成性回路合成负样本的难点在于设计一种能够高效进行祖先采样的过程。6另一种合成负样本的替代方法是设计另一种神经回路来产生上下文向量y（包括正变体和负变体），而不是使用提供的标签——这也是一个更符合生物学实际的方向。在本研究中进行的这种对比学习中使用正样本和负样本的另一种缺点是，这两种数据类型是同时使用的。在[25, 54]中已经讨论过，研究负样本何时被神经系统接收并用于调整其突触的替代方案将是非常重要的。

3.5 相关工作

反向传播（Backprop）长期以来一直因其神经生物学合理性受到批评 [10, 20, 70, 41, 21]。反向传播不太可能是大脑中责任分配的可行模型。在困扰反向传播的生物物理问题 [21, 41] 中，其中一些关键问题包括：1）神经活动被显式存储以便后续用于突触调整；2）误差导数通过全局反馈通路反向传播 [59]，以生成有用的教师信号；3）误差信号沿着用于前向传播信息的相同神经通路反向传播（也被称为权重传输问题 [21]）；4）推理和学习被锁定为主要是顺序的 [28]（而不是像大脑那样高度并行）；5）在处理时序数据时，需要先将神经回路在时间上反向展开（即时间反向传播，BPTT），然后才能调整突触权重值（这显然不符合类脑计算的情况 [55]）。

最近，人们越来越关注开发算法和计算模型，试图规避或解决上述批评。其中最强大和最有前景的是预测编码（Predictive Coding, PC）[24, 62, 18, 2, 65, 53]，而最近的则是单向学习方法，包括信号传播 [32, 31]、前馈（Forward-Forward, FF）算法 [25] 和预测前馈（Predictive Forward-Forward, PFF）过程 [54]。这些替代方法提供了更符合神经生物学学习要素的责任分配机制，同时展现出与反向传播相似的性能。

单向过程 [32, 25, 54] 与其他生物责任分配方案相比具有独特的优势，因为它们只需要前向传播信息即可促进学习，从而实现与赫布学习（Hebbian learning）[23] 精神一致的突触更新。此外，这些过程更适合于芯片上的学习（对于类脑计算硬件而言），因为它们不需要用于传输教师信号的独立计算通路（这是反向传播 [64] 和反馈对齐方法 [37, 46] 所必需的），甚至不需要用于传输误差消息/误差通路的通路（这是预测编码 [62, 2, 53]、表征对齐 [58] 和目标传播过程 [36] 所必需的）。理想的是，这意味着不需要专门的硬件来计算激活函数的导数，也不需要维护和调整通常需要不同调整规则的独立反馈传输突触 [58, 55]。此外，单向规则通常比基于对比赫布学习的适应过程 [45, 26, 68] 更快，因为它们不需要基于正相的统计条件进行负相计算（反之亦然）。最后，像ED-FF这样的单向方案自然允许在其逐层活动中引入侧向竞争，为交叉抑制活动模式 [78, 56] 对神经计算的重要性提供了佐证（注意，竞争学习在与纯STDP中心适应 [71] 结合时已被证明是有价值的）。

4 结论

在本研究中，我们提出了事件驱动的前馈学习（Event-Driven Forward-Forward, ED-FF）过程，这是对前馈学习和预测前馈学习的推广，适用于脉冲序列场景，用于调整循环脉冲神经系统的突触效力。通过实验，我们证明了ED-FF适应能够成功学习离散的时间表示，从而有效地对图像数据进行分类，并随着时间的推移重建图像输入。

关于ED-FF责任分配，有许多潜在的研究方向值得探索。我们相信，研究适应过程在更复杂数据（如自然图像，假设脉冲系统具备适当的归纳偏差）和序列（例如视频帧）中的运行方式将非常重要。此外，观察通过ED-FF学习适应的脉冲级回路如何对神经中心的认知架构[51, 52, 57]有用，也将是一个有趣的方向，这受到诸如语义指针架构（Semantic Pointer Architecture, SPAUN）[74]等模型成功的启发。

https://www.researchgate.net/publication/369717761_Contrastive-Signal-Dependent_Plasticity_Forward-Forward_Learning_of_Spiking_Neural_Systems/fulltext/642a429366f8522c38f26204/369717761_Contrastive-Signal-Dependent_Plasticity_Forward-Forward_Learning_of_Spiking_Neural_Systems.pdf