ICLR 2024 | 连续学习不怕丢西瓜捡芝麻，神经形态方法保护旧知识

机器之心报道

机器之心编辑部

以脉冲神经网络（SNN）为代表的脑启发神经形态计算（neuromorphic computing）由于计算上的节能性质在最近几年受到了越来越多的关注 [1]。受启发于人脑中的生物神经元，神经形态计算通过模拟并行的存内计算、基于脉冲信号的事件驱动计算等生物特性，能够在不同于冯诺依曼架构的神经形态芯片上以低功耗实现神经网络计算。

然而，神经网络模型在持续学习新任务时通常存在对旧任务的灾难性遗忘的问题，这和人脑通过终生的连续学习（continual learning）来不断积累知识非常不同。如何能够通过神经形态的计算形式解决连续学习是一个对人工智能和神经科学都很重要的问题，也是构建具有持续学习能力的低功耗 SNN 神经形态计算系统的关键步骤。

此前的连续学习方法或者从已观察到的神经科学现象获得启发，提出如记忆重放、正则化等方法，但尚不清楚其他广泛存在的生物法则，如赫布学习（Hebbian Learning）、横向连接等，如何能够系统性地支持连续学习；或者关注纯粹的机器学习方法，例如在高维空间的正交投影以实现有保证的更好的知识保留 [2,3]，但需要复杂的通用计算，难以通过神经形态的计算实现。如何通过神经计算的形式更好地解决连续学习仍是一个重要的问题。

为了解决这个问题，来自北京大学林宙辰教授团队的研究者们提出了一种新的基于赫布学习的正交投影的连续学习方法，其通过神经网络的横向连接以及赫布与反赫布学习，以神经形态计算的方式提取神经元活动的主子空间并对突触前神经元的活动迹进行投影，实现了连续学习中对旧知识的保护。HLOP 首次展示了更有数学保障的正交投影的思想能够如何在神经元运算中实现，以及横向神经回路和赫布学习等生物特性可能如何支持神经计算系统的高级能力。论文被机器学习顶会 ICLR 2024 接收。

• 论文题目：Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks
• 论文地址：https://openreview.net/forum?id=MeB86edZ1P
• 代码地址：https://github.com/pkuxmq/HLOP-SNN

方法介绍

图 1：HLOP 方法示意图

通过横向连接进行投影

通过赫布学习提取主子空间

赫布学习能够从流式输入的大量数据中无偏地提取主子空间，因此相比此前的正交投影方法，HLOP 也能更好地构建主子空间，得到更好的结果。

图 2：HLOP 与 SNN 在线训练算法结合示意图

与 SNN 训练相结合

HLOP 方法主要通过横向连接修改突触前神经元的活动迹，因此可以与各种基于突触前神经元活动迹的 SNN 训练算法灵活的结合，如基于脉冲编码表示的方法、随时间反向传播与替代梯度方法、随时间在线训练方法等。图 2 展示了 HLOP 与一类 SNN 随时间在线训练算法 [5] 结合的示意图，这种训练算法更契合生物和神经形态硬件的在线学习性质。在该结合中，HLOP 仅需通过额外考虑横向回路中的突触后响应以在线修改神经元的资格迹，这种简易的结合方式可以为在芯片上进行连续学习提供基础。

原始的 HLOP 在横向神经回路中主要考虑线性神经元，这对于部分支持混合神经网络的神经形态硬件 [6] 而言可以支持。针对更广泛的情况，HLOP 进一步考虑在横向连接中采用脉冲神经元，如图 2 (d) 所示，其通过神经元发放高频的突发脉冲序列（burst）并对此进行频率编码以表示信息。

实验结果

论文在多种设定的连续学习实验下验证了 HLOP 方法的有效性，考虑 ACC 和 BWT 两个指标，分别表示连续学习任务的平均正确率和旧任务的平均遗忘率。

首先，HLOP 方法可灵活地适用于不同的 SNN 训练算法，如下图所示，HLOP 一致地解决了连续学习中的灾难性遗忘。

然后，HLOP 方法在任务增量和域增量的设定、不同数据集、不同网络结构、以及不同误差传播算法（反向传播及生物可行性更高的反馈对齐和符号对称方法）的设定下均一致地解决了灾难性遗忘，如下图所示。

同时，HLOP 在横向连接中采用脉冲神经元的设定下仍有效地解决了遗忘的问题，如下图所示。

最后，与其他代表性的连续学习方法相比，HLOP 在各数据集上都一致地超越了此前的方法，如下图所示。而且，HLOP 是基于神经形态计算的形式，对神经形态硬件更友好，这展示了构建高性能的连续学习神经形态计算系统的潜力。

总结

HLOP 作为一种神经形态计算形式的连续学习方法，展示了横向连接和赫布学习能够通过提取神经活动主子空间并修改突触前神经元的活动迹以系统性地提供强大的连续学习能力。这阐明了一些生物法则可能如何支持神经形态计算系统的高级能力，也首次展示了正交投影的思想能够如何在神经元系统中实现。HLOP 可灵活地与任意基于突触前神经元活动迹的训练算法相结合，为构建芯片上连续学习的低功耗 SNN 神经形态计算系统提供了坚实的基础。

参考文献：

[1] Kaushik Roy, Akhilesh Jaiswal, and Priyadarshini Panda. Towards spike-based machine intelligence with neuromorphic computing. Nature, 2019.

[2] Guanxiong Zeng, Yang Chen, Bo Cui, et al. Continual learning of context-dependent processing in neural networks. Nature Machine Intelligence, 2019.

[3] Gobinda Saha, Isha Garg, and Kaushik Roy. Gradient projection memory for continual learning. ICLR, 2021.

[4] Erkki Oja. Neural networks, principal components, and subspaces. International Journal of Neural Systems, 1989.

[5] Mingqing Xiao, Qingyan Meng, Zongpeng Zhang, et al. Online training through time for spiking neural networks. NeurIPS, 2022.

[6] Jing Pei, Lei Deng, Sen Song, et al. Towards artificial general intelligence with hybrid Tianjic chip architecture. Nature, 2019.