非线性循环神经网络中的相关性统计

Statistics of correlations in nonlinear recurrentneural networks

非线性循环神经网络中的相关性统计

https://www.biorxiv.org/content/10.1101/2025.10.27.684819v1.full.pdf

摘要
相关性的统计量是刻画循环神经网络集体动力学的核心量。我们推导出在神经元数量 N很大极限下，非线性循环网络相关性统计的精确表达式，包括系统性的 1/N修正项。我们的方法采用路径积分表述来描述网络的随机动力学，将系统约化为少数几个集体变量，从而实现高效计算。该方法将先前关于线性网络的结果推广到一大类非线性激活函数，这些激活函数在路径积分中表现为相互作用项。这些相互作用可以消除线性理论的不稳定性，并产生严格为正的参与维度（participation dimension）。我们对幂律型激活函数给出了显式结果，揭示了由网络耦合强度控制的标度行为。此外，我们引入一类基于帕德近似（Padé approximants）的激活函数，并对其相关性统计给出解析预测。数值模拟与理论结果高度吻合。

关键词：神经群体动力学；循环神经网络；非线性动力学

1 引言
神经活动的相关性是我们研究神经系统结构与功能的主要工具之一。它们通过测量不同神经元或脑区活动在时间上的统计依赖性，提供关键信息 [1]。然而，相关性的解释并不简单，因为它们不仅受神经元之间直接相互作用的调控，还受到系统整体动力学状态的影响。例如，理论分析表明，当网络处于异步状态时，互相关（cross-correlations）比自相关（autocorrelations）小一个 1/N的因子，其中 N为网络规模 [2]。这种机制已在多种系统中被广泛观察到 [3, 4, 5, 6]，且适用条件相当普适。

在皮层记录中，无论是在自发状态还是激活状态下，都确实观测到较小的互相关 [7, 8]。尽管互相关微弱，但人们已认识到它们对网络的编码与信息传递特性具有重要意义 [6]。例如，在一项对中颞区（MT）相关放电的研究中发现，相邻神经元的动作电位计数虽噪声大且仅弱相关，但即便是如此微弱的相关噪声，也显著限制了通过群体信号平均所能获得的增益 [9]。另有研究提出，弱相关性在调控神经变异性方面可能起关键作用。文献 [10] 表明，生理水平的同步性已足以产生在体实验中观察到的不规则响应。

弱互相关的另一重要作用体现在对神经动力学有效维度的调控上。维度是网络功能的关键方面。如文献 [11] 所指出，高维表征允许简单的线性读出器生成大量不同的潜在响应；相反，基于高度特化神经元的低维表征虽不利于线性读出，却展现出更好的泛化能力。量化维度最常用的工具之一是参与维度（participation dimension）[12]。该量由协方差矩阵的特征值定义，是对维度的自然连续度量。它也可用协方差矩阵对角元与非对角元的一阶和二阶矩表示。容易看出，即使互相关按 1/N缩放，在大 N极限下，由于每个神经元接收 O(N)个输入，互相关仍对参与维度产生决定性影响。事实上，主导贡献来自神经元间互协方差的相对涨落 [13]。这意味着，即使互相关在大 N下按 1/N衰减，对其的理论理解仍是必要的。

文献 [14] 针对随机连接矩阵和线性动力学情形，计算了协方差矩阵的相关矩。该工作利用路径积分表述，计算至 1/N阶，从而得到参与维度。类似结果也通过随机矩阵方法在 [15] 中导出。但这些结果的一个局限在于：在线性区域，当权重方差过大时，动力学会变得不稳定。而在更现实的系统中，若引入次线性的输入–输出传递函数，这种不稳定性可被抑制。

本文利用路径积分方法，对具有非线性传递函数的循环神经网络进行理论分析。这将导出一种关于神经相关性的新而概念简洁的表述，仅依赖少数集体变量。该方法使我们能够计算协方差矩阵的矩，包括评估参与维度所必需的 1/N修正项。此框架还可推广至计算所有高阶神经关联量，并系统地包含次主导的 1/N修正。非线性循环网络亦曾通过其他方法研究，如动力学平均场理论（DMFT）（参见 [16] 及其中参考文献）和随机矩阵理论 [17]。事实上，在我们完成本工作之际，预印本 [18] 出现，该文结合 DMFT 假设与随机矩阵技术研究非线性网络协方差矩阵的相关性。我们将比较彼此结果，在重叠范围内发现一致。

本文结构如下：第 2 节介绍模型、路径积分描述及集体场；第 3 节通过鞍点近似计算大 N极限，给出我们的主要结果——网络连通相关性的生成泛函，由此可导出所有关联函数，并显式给出协方差矩阵的关联量，进而推导出参与维度的一般显式表达式，并讨论与其他方法的关系；第 4 节展示本方法的若干应用：首先分析幂律激活函数，给出协方差矩阵统计的解析结果；其次引入一类具有优良理论性质的“帕德激活”（Padé activation）函数，计算解析预测并与数值模拟详细比较，结果高度吻合，同时讨论 1/N修正与非平衡效应；第 5 节为结论与未来方向。尽管正文聚焦于神经输出的相关性，为完整性起见，附录 A 还展示了如何推导输入的相关性。

2 模型和路径积分表示

一个包含 N 个神经元、信号变量为 φᵢ（i = 1, ..., N）且具有非线性激活函数 f(φ) 的循环神经网络（RNN），由以下方程描述：

其中，φ 描述输入神经电流，f(φ) 为激活函数，给出神经元输出。我们约定所有重复的下标均需求和。神经元数量 i = 1, ..., N 被视为很大。我们假设非线性函数 f 是规则的，在 φ → -φ 下为奇函数，且在原点处为零，

这允许我们在固定点 φ = 0 附近展开 φ 的动力学。通过重新缩放 W，线性项的系数可以设为 1。以下结果可推广至无奇偶性的激活函数以及 φ 具有期望值的情形，但我们将分析限制在此更简单的情形。

内部噪声是一个随机高斯变量，其单点函数为零，且满足：

随机连接矩阵通常在远长于典型单神经元时间变化的时标上波动。因此，我们将它视为一种淬火无序变量，由期望值为零的高斯噪声所描述，且

其中我们省略了插入时间。这里，<...>ₓ 表示对 ξ 的平均，<...>w 是对 W 的平均，Nr 是在 <...>w 内部的 ξ-平均的个数。对网络输入 φᵢ 相关性的计算可以沿用类似的思路；这在附录 A 中给出。

需要注意的是，实验上对相关性的评估并不涉及对耦合变量的平均，而是对某些神经元集合的经验平均。在这里，我们假设在 N 很大的极限下，宏观状态不依赖于每个随机参数的精确值，而只依赖于它们的统计特性 [19]。换句话说，我们假设系统是自平均的（self-averaging）。这一假设使我们能够使用对 W 的平均来预测经验平均值。

首先考虑一个单一的 ξ-平均。根据奇偶性，包含奇数个插入项的相关函数会消失。包含偶数个 f-插入项的相关函数可以从带有源 Jᵢⱼ(t₁, t₂) 的配分函数中获得，该源对应于 fᵢ(φ(t₁))fⱼ(φ(t₂))。源的时间依赖性允许我们计算不同时间点的相关性；然而，目前我们将为一般情况写出一个配分函数，但本工作的重点将放在时间无关（零频率）的相关性上。引入一个拉格朗日乘子场 φ̃ᵢ，它施加了随机方程 (2.1)，则包含 ξ-噪声平均的配分函数的路径积分表示为

这些场将扮演集体坐标的角色，用于描述RNN的相关性。

此处出现的积分通常无法获得解析解，原因在于非线性激活函数的存在。然而，我们的主要结论是，当 N ≫ 1 时，一个半经典的鞍点构型将主导配分函数。这将使我们能够在 1/N 展开中解析地计算关联函数，从而为理解非线性 RNN 的动力学提供一个新的非微扰框架。关于使用集体场的路径积分表示的相关工作，请参见 [23, 14]。

在大 N极限下，若源的数量保持固定，则源项的贡献相比于 (3.2) 式中的其他项会被压低一个 1/N阶。因此，在神经元数量很大的极限下，神经系统中高度复杂的关联可以映射为一组“主控场”（master fields）ρ和 η的对偶经典构型，该构型使 (3.2) 式中的被积函数取极值。这种对偶描述的存在是大 N系统的关键优势之一，它在量子场论和引力理论的发展中产生了深远影响 [24]，近年来在深度学习领域也发挥了重要作用 [25]。在此，我们也发现它在理解非线性循环神经网络（RNN）中扮演着核心角色。

3.1 1/N与源展开

在大 N情形下，源项可视为对一个均匀网络的小扰动，即每个神经元节点 j具有相同的动力学。我们将单个神经元场 ϕja记为变量 xa，并引入归一化的高斯平均：

在主导阶上 η = 0 这一事实，为非线性网络的集体场描述提供了一个关键简化：它允许我们对相互作用项 ⟨e^(-i/2)ηg⟩_G 在 (3.5) 式中进行微扰展开，正如我们在 (3.9) 式中所做的那样。在此阶上，所有来自非线性的效应随后都被编码在集体场 ρ 的自洽方程 (3.25) 中。根据 (3.2) 和 (3.3) 式，输入变量在 N⁰ 阶的两点函数变为

大 N展开的一个普遍性质是，一旦确定了某个非零的主导阶关联函数，更高阶的关联函数就会发生因子化。式 (3.38) 和 (3.39) 给出了两个例子。类似地，在确定了主导阶的非对角贡献（式 (3.40)）之后，包含该贡献的更高阶关联函数也将因子化。例如，

换言之，的统计特性由主导阶的非零关联函数（式 (3.36) 和 (3.40)）以及大 N下的因子化性质共同决定。

3.4 参与维度

神经系统的计算通常依赖于结构化的神经活动，其维度低于系统状态空间的维度（对我们系统而言即为 N）[12, 28]。
量化维度最常用的方法之一是参与维度（participation dimension）。它由神经元协方差矩阵的本征谱导出。该矩阵是主成分分析（Principal Component Analysis, PCA）[29] 的基础，并反映了神经元对在时间及任务参数变化下的协变关系 [12]。其定义为：

3.5 与其他工作的比较

与我们工作密切相关的参考文献包括 [23, 14]，它们同样使用了路径积分表示和大 N 极限。参考文献 [23] 考虑了非线性情况，并侧重于自协方差和时变效应，但未包含 1/N 效应。他们得到了一个自洽方程，其作用相当于我们的 (3.28) 式。类似的自洽方程也出现在其他文献中，如 [27, 16]。

另一方面，参考文献 [14] 专注于线性网络。在该工作中也使用了路径积分公式。与我们的工作不同的是，该研究中没有使用副本（replicas），并采用了线性源项。通过对接口变量求连续导数来评估最高至四阶的相关性，并利用温克分解（Wick decomposition）确定协方差矩阵元素的均值和方差。这种方法在线性情况下是可行的，因为固定耦合的统计量服从高斯分布；但在非线性情况下则不可行，需要使用副本方法。

最近的预印本 [18] 提出了一种基于有效耦合的方案来求解非线性网络。该方案源于平均场理论的考虑，并通过数值模拟和随机矩阵理论进行了验证。该方案可从我们的大 N 处理方法中显式推导出来。根据 (3.50) 式，有效耦合所扮演的角色由

4 应用

在本节中，我们将探讨前述一般结果的具体应用。首先，我们考虑一类幂律型激活函数，对此我们能够获得关联函数的显式解析表达式。这类激活函数对耦合参数 λ呈现幂律依赖关系，可用于在不同区域（例如接近饱和区、弱耦合区等）近似更现实的网络。接着，我们引入一类“帕德激活函数”（Padé activation functions），这类函数在同时刻画激活函数在小 ϕ和大 ϕ区域的行为方面非常有效。采用这种形式，我们同样能够给出关联函数的显式结果（尽管结果需用特殊函数表示）。随后，我们将针对两个感兴趣的激活函数，与数值模拟结果进行广泛对比，并评估 1/N修正项的行为以及系统趋近平衡的过程。

4.1 幂律型激活函数

作为第一个应用，我们将对如下形式的激活函数获得解析结果：

此类幂律型激活函数出现在不同的场景中。指数 p=1 对应于线性激活函数；对于奇函数激活函数及足够小的 φ，这也是一个良好的近似。p→0 的情况适用于接近饱和的区域，例如 tanh(x) 激活函数在 φ 较大时的情形。其他幂次，如 p=1/2，在 φ 的广泛中间区域也可能相关。事实上，当神经动力学经历导致脉冲生成的 I 型分岔时，可得到 p=1/2 [30, 31, 32]。在我们当前的分析中，我们将假设神经激活函数在一定参数范围内可被 (4.1) 式良好近似。

4.2 帕德激活函数与数值模拟

在本节中，我们将对大 N解析公式与数值结果进行详细比较。数值方法的具体细节见附录 B。

我们引入一类非线性传递函数，称之为“帕德激活函数”（Padé activation functions）：

其中，erfc(x) 是互补误差函数，U(a, b, z) 是合流超几何函数。

我们现在将这些结果与使用网络模拟获得的结果进行比较（详见附录 B）。在图 1 中，我们展示了协方差矩阵的对角项和非对角项的平均值以及输出的参与维度。

我们发现，即使对于约数百个神经元的网络规模，理论与模拟结果之间也表现出极好的一致性。在图1中可以看到，不同量的标准差随网络规模增大而减小。这与第3.1节中提出的1/N展开相吻合。波动受高阶矩控制，这些高阶矩随N以1/N²或更快的速度衰减。为验证这一点，我们进行了最大规模达N=800的模拟，并评估了输出相关性中平均对角项和非对角项标准差的下降速率。结果如图2所示。

5 结论

在本研究中，我们发展了一种路径积分框架，用于计算非线性循环神经网络中相关性的统计特性，包括评估协方差矩阵的互相关和参与维度所必需的 1/N修正效应。我们的方法通过将任意非线性激活函数作为有效作用量中的相互作用项引入，推广了以往对线性网络的处理。这解决了线性理论的不稳定性问题，得到了严格为正的参与维度以及丰富多样的相关结构。

我们分析的一个核心成果是：一小组集体变量（collective variables）的涌现，它们足以刻画相关性的完整统计特性。这种表述明确揭示了全局网络动力学如何约束局部成对相关性。同时，它也凸显了某些结果的普适性：例如，互相关在非线性区域依然受到 1/N的压制，但其相对涨落对于控制参与维度变得至关重要。这与线性情形下的先前发现 [14, 15] 一致，同时极大地拓展了其适用范围。我们还得到了连通神经关联量的生成泛函，主要聚焦于协方差矩阵（见第 3.3 节）。这是本工作的另一关键结果，其基础是大 N下的因子化性质。

针对幂律激活函数和新提出的帕德（Padé）激活函数所获得的显式结果，展示了该理论的两个互补方面。幂律激活函数表现出由循环耦合强度控制的标度行为，揭示了网络连接性的变化如何重塑相关统计。而帕德激活函数则提供了一类灵活的传递函数，既在解析上可处理，又能捕捉真实非线性的重要特征。在这些情形下，我们的解析预测与数值模拟高度吻合，有力支持了该方法的有效性。数值模拟还表明，即使对于仅数百个神经元规模的网络，大 N极限的结果也已具有实际相关性；且进行统计平均所需的时间无需超过约 20 个突触时间常数。

我们的结果还使我们能够将路径积分方法与其他理论框架联系起来。动力学平均场理论（DMFT）和随机矩阵方法已成功应用于相关问题 [16, 17, 18]，为协方差矩阵的统计特性提供了宝贵见解。路径积分表述则通过强调集体变量的作用、外源的影响，以及以生成泛函形式进行描述（可自然编码高阶关联量并支持系统的 1/N展开），对这些方法形成补充。这种互补视角在活动具有非高斯特征或有限尺寸效应起关键作用的情形下可能尤为有用。

更广泛地看，能够对非线性循环网络中的相关统计做出解析预测，为若干应用打开了大门。在神经科学中，它提供了一种理论工具，用于解释皮层记录中相关性、维度和变异性等实验测量结果。在机器学习中，相关结构与参与维度之间的联系可能有助于阐明大型循环架构的表征能力。从方法论角度看，路径积分形式体系还可推广至其他复杂系统，其中非线性相互作用与集体动力学共同塑造相关统计。

在未来工作中，将我们的方法拓展至刻画非平衡相关函数至关重要，因为在这些情形下，时间结构和非稳态动力学预计将发挥关键作用。此外，路径积分表述为利用标准费曼图方法系统计算次主导的 1/N修正提供了高效框架。对于本文研究的循环网络，这些修正源于非平凡鞍点附近的高斯涨落，以及由非线性激活函数诱导的相互作用顶点。路径积分框架在引入其他结构（如可塑性）方面也颇具前景。探索这些贡献将进一步深化神经动力学与场论技术之间的联系，我们期待在今后的工作中报告相关进展。

原文链接：https://www.biorxiv.org/content/10.1101/2025.10.27.684819v1.full.pdf