PRL速递：尖峰神经网络中的光滑精确梯度下降

摘要

近年来，神经形态计算（neuromorphic computing）逐渐成为研究热点，它利用尖峰神经网络（Spiking Neural Networks, SNNs）进行高效节能的计算。然而，由于尖峰信号的离散特性，传统的梯度下降法难以实现高效的学习。本文介绍了一种新的尖峰神经网络训练方法，通过光滑精确的梯度下降来避免尖峰信号的突然变化。

关键词：尖峰神经网络，梯度下降，伪尖峰，神经形态计算，二次积分-发放神经元模型

论文题目：Smooth Exact Gradient Descent Learning in Spiking Neural Networks 论文 地址：https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.134.027301 期刊名称：Physical Review Letters

非扰动尖峰动态

传统的尖峰神经网络难以处理尖峰信号的出现和消失，因为这些变化往往是不可预测的。为了解决这一问题，研究者提出使用二次积分-发放（Quadratic Integrate-and-Fire, QIF）神经元模型。该模型通过将尖峰信号的出现和消失限制在实验结束时，使得网络的尖峰时间随着参数变化而平滑变化。这种方法允许精确的梯度下降学习，并能系统地增加或删除尖峰信号。

图 1. 扰动和非扰动尖峰形态。(a),(b),(d) 在试验过程中，LIF神经元的峰值时间可能出现中断。(a),(c),(d) QIF神经元的峰值时间仅在试验结束时无扰动地出现，其他时间随参数的变化而连续变化。左列：一个神经元接收到一个单一的输入，其权重增加（随着饱和度的增加而增加）。右列：神经元接受兴奋性和抑制性输入，其到达时间被移动到更大的时间。

伪动态与伪尖峰

为了实现尖峰信号的系统增加，研究者引入了伪动态（pseudodynamics）和伪尖峰（pseudospikes）的概念。通过在普通尖峰之间加入伪尖峰，网络可以在学习初期保持活跃，避免“死神经元”现象。这些伪尖峰与网络参数连续相关，并在学习过程中平滑转换为普通尖峰，确保梯度的连续性。

图 2. QIF神经元的平滑梯度下降学习。(a)学习两个输入的权重和时间来调整前两个输出尖峰时间。(b)左：学习前，神经元没有尖峰。右图：学习后，神经元在期望的时间出现尖峰。(c)在学习过程中，伪尖峰时间平滑变化。(d)损失函数L的梯度分量在学习过程中不断变化。学习进度显示为自学习开始以来输出尖峰时间轨迹弧长的函数

图 3. 在RNN中学习精确的尖峰。(a)网络示意图。神经元在每次试验中都接收到来自外部输入神经元的相同尖峰信号。学习了前两个网络神经元的峰值时间。(b)学习前后网络神经元的尖峰。(c)学习过程中第一个神经元的峰值时间轨迹。期望的峰值向目标时间移动。(d)与(c)相同，但尖峰时间显示为输出尖峰时间轨迹弧长的函数。

实验验证与应用

研究者通过多种任务验证了该方法的有效性，包括单个神经元学习、递归神经网络 （Recurrent Neural Networks, RNNs） 的训练，以及手写数字识别任务 （MNIST数据集） 的分类。实验结果表明，该方法不仅能使网络从静默状态激活，并且在标准机器学习任务中表现出较高的准确性。特别是在递归神经网络中，利用伪尖峰可以有效地传播误差，确保网络各层的神经元参与学习。

图 4. MNIST任务。(a)三层网络尖峰栅格图。左：学习前的沉默神经元。右：学习后的稀疏尖峰。(b)学习后输出神经元的电压动态；(c)分类误差动态。在测试期间也使用伪峰值在早期训练中产生较小的测试错误。

结论与展望

本文展示的研究证明了即便是具有离散尖峰特性的神经网络，也可以通过精确的梯度下降实现平滑的学习。这种方法不仅为生物神经网络的研究提供了新工具，也为神经形态计算开辟了新的应用前景。未来的研究可以探索更多具有连续尖峰时间特性的神经元模型，以进一步提升学习算法的稳定性和效率。

彭晨| 编译

关于集智俱乐部

集智俱乐部成立于 2003 年，是一个从事学术研究、享受科学乐趣的探索者的团体，也是国内最早的研究人工智能、复杂系统的科学社区。它倡导以平等开放的态度、科学实证的精神，进行跨学科的研究与交流，力图搭建一个中国的 “ 没有围墙的研究所 ”。集智科学研究中心（民间企业）是集智俱乐部的运营主体，长期运营社区生态，催化理论创新。使命：营造跨学科探索小生境，催化复杂性科学新理论。

计算神经科学读书会

人类大脑是一个由数以百亿计的神经元相互连接所构成的复杂系统，被认为是「已知宇宙中最复杂的物体」。本着促进来自神经科学、系统科学、信息科学、物理学、数学以及计算机科学等不同领域，对脑科学、类脑智能与计算、人工智能感兴趣的学术工作者的交流与合作，集智俱乐部联合国内外多所知名高校的专家学者发起神经、认知、智能系列读书会第三季——，涵盖复杂神经动力学、神经元建模与计算、跨尺度神经动力学、计算神经科学与AI的融合四大模块，并希望探讨计算神经科学对类脑智能和人工智能的启发。读书会已完结，现在报名可加入社群并解锁回放视频权限。

详情请见：

1.

2.

3.

4.

5.

6.