基于生物的计算：神经细节与动力学如何适配多种算法实现

Biologically-Based Computation- How Neural Details and Dynamics Are Suited for Implementing a Variety of Algorithms 2023

基于生物的计算：神经细节与动力学如何适配多种算法实现

https://www.mdpi.com/2076-3425/13/2/245

摘要：

神经工程框架（Eliasmith & Anderson, 2003）是一种历史悠久的方法，用于在低层次的神经生物学细节约束下实现高层次的算法。近年来，这种方法不断扩展，纳入了更多的生物学细节，并被应用于新的任务。本文将这些正在进行的研究方向整合在一起，以一个共同的框架呈现。我们扩展了神经工程框架的核心原则：（a）指定模型中不同部分神经元所需的调谐曲线；（b）定义模型中不同部分神经元所表示的值之间的计算关系；（c）找到能够实现这些计算和调谐曲线的突触连接权重。特别是，我们展示了如何将其扩展以包含复杂的时空调谐曲线，并将这种方法应用于构建大脑中网格细胞、时间细胞、路径整合、稀疏表示、概率表示和符号表示的功能性计算模型。

关键词：神经工程框架；时空表征；认知建模；空间语义指针；时间细胞

1. 引言
在过去二十年中，神经工程框架（NEF；[1]）被用于构建各种功能性的、具有生物学合理性的神经网络，其中包括世界上最大的功能性脑模型Spaun [2,3]。在过去的20年中，NEF的一些核心理论假设保持不变，而另一些则经历了演变并得到了显著扩展。此外，还提出了许多特定的表征和神经算法，并使用NEF方法加以实现。在本文中，我们总结了其中一部分工作，重点关注那些在扩展NEF原则的同时，采用其关于连续时空神经表征的核心假设作为表征神经生物学系统最佳方式的结果。

我们首先总结了一种扩展的时空建模的通用理论方法，该方法将原始NEF原则的适用性扩展到更广泛的神经动力学。具体来说，新技术能够在保留NEF在网络层面建模任意非线性动态系统的能力的同时，捕捉更复杂的单个神经元动态（例如适应性）和更复杂的突触动态（例如α突触）。至关重要的是，这种NEF扩展使用连续的时空表征——因此它与原始NEF一样“从连续性开始”。我们相信，拥抱连续性为构建神经网络的大多数方法提供了一个重要的区别。事实上，最大且最有用的神经网络中的绝大多数都假设状态和时间是离散的（例如，新的Gato系统[4]或DeepMind的AlphaGo[5]）。尽管连续表征和离散表征之间的理论差异是微妙的，因为任何连续表征都可以被离散表征以任意精度近似，但我们描述了在连续环境中推导出的具体算法和表征，即使在它们被离散化之后，也优于标准方法。也就是说，“先连续后离散”的NEF式方法，已经导致了最先进的神经网络的改进[6,7]。

然而，我们的重点并不是在机器学习任务上对神经网络进行基准测试，而是生物学建模的方法。值得注意的是，在这里，构建认知系统模型的大多数方法——我们将其视为“放大”的生物学建模——在时间和空间上都是离散的。这既包括更传统的方法，如ACT-R [8]和Soar [9]，也包括许多假设局部表征或未定义单个神经元连续动态的神经网络方法[10]。相比之下，NEF式方法为连续的认知建模方法提供了基础，例如语义指针架构（SPA；[11]）。我们相信SPA和NEF是互补的，因为SPA试图解决大脑计算什么，而NEF试图解决大脑如何计算。为此，NEF被用于实现基于SPA的Spaun模型，该模型由超过600万个神经元和200亿个连接组成，能够执行各种运动、感知和认知任务[2,3]。

我们提到NEF方法与认知建模之间的联系，是为了为本文讨论的工作提供一个更广泛的背景。在这里，我们专注于描述几个使用连续时空表征来解释神经对空间和时间处理的具体例子。尽管我们没有提供大规模的认知示例，但这里展示的方法为纳入改进后的Spaun类模型奠定了基础，因为Spaun目前尚未包含在认知层面上处理连续时间和空间的明确示例（例如，执行前瞻性和回顾性时间间隔估计、在大型环境中的导航等）。因此，目前的工作最好被视为一系列示例，它们是朝着一个更大的综合模型迈进的垫脚石，该模型展示了连续时间和空间算法如何执行生物学相关的任务，同时以一致的方式捕捉神经数据的核心特征。

我们方法的主要好处是我们已经开发了一个通用框架，用于在神经和认知模型中推理连续变量，这些模型既符合神经数据，又能解释功能性行为。通过这种方式，我们为广泛的行为闭合了模型与生物系统之间的解释性差距。具体来说，通过时空调谐曲线，我们提高了神经模型的生物学真实性，使我们能够设计具有所需特征的神经群体。从算法角度来看，这一系列方法促使我们发现了勒让德延迟网络（Legendre Delay Network, LDN）和勒让德记忆单元（Legendre Memory Unit, LMU）[6]，这是一种循环神经网络，能够复现时间细胞数据，并提供一种记忆功能，允许对时间事件进行最优存储，而不依赖于时间的特定离散化。在空间领域，我们利用空间语义指针（Spatial Semantic Pointer, SSP）对连续状态空间的表征来复现网格细胞的放电模式[12]，并进一步开发路径整合和认知制图的模型。因此，我们的大脑功能模型从上到下都是时空连续的。

此外，使用连续模型来提高生物学真实性的好处不仅限于建模大脑。我们还发现，它们可以提高标准机器学习（包括强化学习Reinforcement Learning, RL）算法的效率和性能。例如，LMU在性能上优于Transformer模型[7]，SSP在122个机器学习（Machine Learning, ML）基准测试中的大多数上优于其他连续编码方法[13]，并且可以减少在强化学习应用中所需的试验次数[14]。

总的来说，贯穿这项工作的统一主题是在我们的模型中使用连续的时空表征和动态。我们假设这些表征和动态能够提高人工智能（AI）、机器学习（ML）和强化学习（RL）算法的性能，同时也能提高神经模型的生物学真实性。

总结来说，这项工作提出了对神经工程框架（NEF）的扩展，并展示了一系列证明我们方法实用性的示例。我们首先回顾了基础方法，然后按主题分组介绍了一系列计算模型，并在最后的讨论中将我们的发现联系在一起。从第2节“时空建模的一般方法”开始，我们描述了NEF的方法。我们在第2.1节和第2.2节中回顾了采用的标准NEF原则，而第2.3节到第2.5节则介绍了我们对NEF的新颖扩展。在介绍了我们的一般方法之后，我们展示了这些方法如何被用于一系列任务。在第3节“时间”中，我们介绍了一系列使用我们方法建模时间表征和现象的示例。我们提出了一个捕捉海马体中“时间细胞”放电的模型。然后，我们使用类似的算法方法开发了一个在线学习系统，该系统能够对时变信号进行多步预测，为生物体如何学习预测任意时间序列提供了一种可能性。接下来，在第4节“空间”中，我们转向处理连续空间的方法。具体来说，我们描述了一种新的神经表征，它能够捕捉包括网格细胞、位置细胞、对象向量细胞和边界细胞在内的多种细胞反应。然后，我们使用相同的表征来展示稀疏性如何影响一个简单强化学习网络的性能。在第5节“空间与时间”中，我们将连续的空间和时间结合在一个路径整合网络中。我们不仅展示了这种网络如何执行路径整合，还将其扩展到执行时间整合，在任何时刻明确地表示其最近的路径。在第6节“准概率表征”中，我们转向一个更近期的发展，该发展将我们的连续空间表征技术扩展到概率表征的应用。我们展示了这些方法为在神经基质中高效实现标准概率算法提供了自然的方式。最后，在第7节“讨论”中，我们将这些多样化的研究主题整合在一起，总结了时空连续性在神经建模中的价值，并考虑了这项工作的未来应用。

2. 时空建模的一般方法

神经工程框架（NEF）的核心假设是神经计算依赖于神经元的时空调谐。换句话说，我们假设神经元的刺激历史与其当前活动之间存在系统性的关系。这一相对温和的假设产生了一种方法，使我们能够通过组合更小的模型来构建大规模的神经生物学系统模型。

具体来说，我们并不是针对特定任务对完整网络进行端到端的训练，而是将该任务分解为更小的部分，为每个部分训练网络，然后将它们重新组合在一起。由于这些部分比整体更简单，因此它们的训练速度可以更快。（尽管应该指出，仍然可以在最终网络上进行端到端优化）。权衡是我们将自己的结构和理论假设强加到模型上。如果这些关于任务如何在组件之间分配的理论假设是次优的，那么最终的模型也将是次优的。事实上，正是出于这个原因，我们可以声称，如此构建的模型也是对生物神经系统（和人工神经机器学习系统）如何将任务分解为单独计算的底层理论的测试。

一般来说，我们的技术可以分为三个步骤，这些步骤捕捉并扩展了原始NEF的三个原则（括号中为原始原则）：

1. 为单个神经元分配调谐曲线（表征）；

2. 定义神经元调谐的变量之间的关系（计算和动态）；

3. 找到突触权重，使得调谐和期望的计算在最终网络中都得以实现（实现，这在原始NEF中与其他三个原则结合在一起）。

重要的是，前两步仅仅描述了一种规范性约束，也就是说，我们希望我们的网络以某种特定的方式运行。一旦我们解决了突触权重的问题，这些规范性约束就不再被使用，网络可以被完全简化为通过突触权重和滤波器连接的脉冲神经元。最终的突触连接权重和神经元动态负责产生期望的调谐曲线。

2.1 作为神经生物学系统模型构建模块的调谐曲线
为了说明我们技术的第一步，即为单个神经元分配期望的调谐曲线，我们首先需要更精确地定义我们对时空调谐的概念。具体来说，我们定义“在 x 上的时空调谐”为刺激历史 x(t) 与神经元 i 的活动 ai(x) 之间的一种系统性关系。在接下来的所有内容中，神经元活动 ai(x) 可以是脉冲式的或非脉冲式的，尽管为了符号表示的简便，我们通常会写出非脉冲版本。按照惯例，我们将 x(0) 定义为当前刺激。对于 t<0，刺激 x(t) 编码过去的刺激；为了确保因果性，对于 t>0 的刺激是未定义的。我们将从 x 映射到 ai(x) 的关系称为“时空调谐曲线”。

这个定义可能看起来相当抽象。为了提供一些直觉，首先考虑无时间的调谐曲线 ai(x)，即静态 d 维向量 x∈X⊂Rd 与瞬时活动 ai 之间的映射关系。这是原始NEF公式中的标准情况。通常，定义调谐曲线的变量 x 描述了呈现给实验动物的某种刺激。例如，在开创性的Hubel和Wiesel实验中[15]，x 是光条的方向 ϕ，而 ai(x) 可以定义为在刺激呈现期间的平均瞬时放电率（图1A，B）。

然而，由于我们将这些无时间的调谐曲线定义为在某个 d 维向量空间上的映射，因此我们不必将调谐曲线限制为标量变量，例如 ϕ。相反，调谐曲线可以定义在各种模态和数学对象上，例如图像、声音、概率密度，甚至是符号[1,11,16]：任何可以被视为 d 维向量的东西。记住这一点，并考虑到上面提到的Hubel和Wiesel实验，我们可以对调谐曲线做出三个关键观察：

1. 建模刺激具有灵活性。如上所述，建模刺激变量 x 的直观选择是使用标量 ϕ∈[0∘,180∘)。或许不太直观，但同样有效的是，我们可以使用向量 x=(cos(2ϕ),sin(2ϕ))。正如我们在下面讨论的那样，这种特定选择简化了对钟形调谐曲线的建模。更一般地来说，观察到我们定义 ai(x) 的变量 x 的选择是任意的；然而，某些 x 简化了对神经生物学系统中观察到的某些调谐曲线的数学建模。这一原则的进一步例子包括用于建模位置细胞和网格细胞调谐的空间语义指针（Spatial Semantic Pointers, SSPs），以及用于建模时间细胞调谐的勒让德延迟网络（Legendre Delay Network, LDN）；我们将在第3节和第4节中更详细地讨论这些内容。

2. 调谐曲线描述的是网络层面的现象。调谐曲线总结了从刺激源到被特征化的神经元的整个神经回路的属性。例如，Hubel和Wiesel分析的视觉皮层中的神经元并不是直接与感觉器官相连的；相反，视网膜图像已经经过了各种中间神经元的转换。因此，调谐曲线不仅仅是单个神经元的属性，而是整个神经系统的涌现现象。构建这个系统的计算模型的挑战在于，给定模型中使用的特定神经动态（突触、脉冲等），找到能够产生这些调谐曲线的连接权重。这就是NEF被设计来完成的任务。

3. 调谐曲线可以定义在内部表征上。上述内容的一个直接结果是，x 不一定必须是一个可以明确识别的外部刺激。相反，我们可以对任何我们认为可能被直接或间接投射到目标神经元 i 上的神经元所表征的数量 x 建模调谐曲线 ai(x)。这样的 x 的例子包括内部生成的运动指令（例如，期望的行走速度）以及前额叶皮层中抽象概念的向量表征[11,16]。

2.2 无时间的线性-非线性调谐曲线模型
尽管这里介绍的技术可以应用于任何形状的调谐曲线，但我们通常使用线性-非线性调谐曲线模型。使用这种类型的模型可以显著减少训练和模拟所需的计算资源[17]，但这并不是NEF技术工作的必要条件。我们定义一个无时间的线性-非线性调谐曲线为

在这里，G 是网络中使用的脉冲神经元模型的速率近似。这个非线性函数将平均输入电流 J 映射到平均瞬时放电率。我们通常使用脉冲漏电积分发放（Leaky Integrate-and-Fire, LIF）神经元模型，对于这种模型，瞬时放电率 G存在闭式表达式；然而，相同的方法也可以用于非脉冲神经元（例如ReLU、Sigmoid）、单隔室脉冲神经元（例如LIF、ALIF、Izhikevich）以及多隔室神经元模型[1,18,19]。对于更复杂的神经元模型，必须使用迭代数值方法来估计 G。作为提醒，尽管我们在设计调谐曲线时使用速率近似，但在模拟时我们使用实际的神经元模型。

继续描述公式（1），我们使用电流转换函数 J(x) 将刺激 x 映射到细胞体电流。在这个函数中，线性算子 ⟨h,⋅⟩表示内积，而单位向量 ei 是神经元的偏好方向或编码器，αi 是一个缩放因子，βi 是一个恒定的偏置电流。在建模神经生物学系统时，可以对 ei、αi 和 βi 进行采样，使得得到的调谐曲线符合被建模神经元的关键属性，例如最大放电率以及对于特定刺激 x 活动的神经元数量[1]。

重要的是，这种调谐曲线家族比看起来要强大得多。回想我们之前讨论的内容，刺激作为一个向量 x 的确切表征是一个任意的建模选择；例如，我们可以使维度 d 任意地大。（在实践中，维度数 d 是有限制的。从一群神经元中解码 x 需要多样化的神经调谐来覆盖 d 维空间中所有不同的“方向”。这些方向的数量会随着 d 的增加而呈指数增长，除非向量空间 X 具有特殊的结构。）反过来，这使得我们可以通过在高维空间中表征 x 并通过选择合适的编码器 ei 将其投影到电流 J 上，来建模任何形状的调谐曲线。这种“投影技巧”是从机器学习中借鉴的常见技术，并且在某些刺激映射的情况下，可以被解释为“核技巧”（kernel trick）的一个实例[20]；我们将在下面讨论空间语义指针（Spatial Semantic Pointers, SSPs）的背景下重新审视这一点。图2展示了非线性-线性调谐曲线的示例，描绘了在本文讨论的模型中使用的各种神经元的调谐曲线。

2.3 时空调谐曲线
我们现在将时间重新引入我们的模型中。也就是说，我们将公式（1）中的线性-非线性调谐曲线模型扩展为支持时空调谐。换句话说，我们可以将 ai 定义为对时间信号 x 的响应，而不是对无时间向量 x 的响应，从而将 ai 定义为随时间变化的活动模式。这是可取的，因为大脑中单个神经元的反应取决于刺激历史 x，而不仅仅是瞬时刺激 x。即使是Hubel和Wiesel实验的原始数据（图1B）也清楚地显示了在刺激开始后活动的强烈衰减。

为了在我们的调谐曲线模型中考虑这一点，我们需要用过去的刺激历史 x:R−→X⊂Rd 替换无时间的刺激 x，并将编码器（即“偏好方向”）ei 替换为时间编码器 ei:R+→X。然后，返回网络中第 i 个神经元当前活动的线性-非线性调谐曲线模型为：

假设 ei 已经归一化，这个方程中的积分项可以被理解为计算实际刺激历史 x 与某个“偏好”的刺激历史 ei 之间的余弦相似度。也就是说，每个神经元都有一个随时间变化的偏好模式，这将导致该神经元以最大速率放电。这是图2中更常用的偏好刺激的时间泛化。类似的时空调谐模型自20世纪80年代以来已经在运动感知的背景下被探索[21–23]。例如，考虑一个对向下运动敏感的视觉皮层神经元。如图3所示，我们可以通过将时间编码器 ei(t) 设置为一个典型的向下运动模式来建模这样的神经元。

虽然我们可以将任何东西指定为时空调谐曲线，但也可以基于理论来定义它们。例如，我们可以通过将 ei 设置为高通滤波器的冲激响应与原始无时间的 ei 相结合来模拟Hubel和Wiesel实验中（图1B）活动的快速衰减，原始的 ei 用于识别神经元敏感的特定方向 ϕ。

需要注意的是，可以通过在公式（2）中用时间响应模型 Ω[J] 替换 G 来部分地考虑模型神经元的时间特性。这可以用来解释神经适应性[24]。类似的公式化已经被用来扩展NEF以支持各种具有生物学细节的神经元[19]。

当然，对于上述所有内容，必须指出我们所做的只是指定了神经元的期望行为。我们使用时间编码器 ei 来表明我们希望模型表现出的行为，但我们还没有确定这些反应实际上是如何从网络的连接性中产生的。重要的是，这种调谐曲线的表述方式并不关心时空调谐行为是否源于某些内在的神经元动态，是否通过结合突触前活动在网络层面上实现，是否由特定的突触滤波器产生，或者是这些因素的某种组合。到目前为止，我们所做的一切只是表明了期望的行为，而NEF过程的最后一步将负责确定这一切是如何产生的。

2.4 转换表征的值
我们建模技术的第二步是决定网络应该执行什么计算。换句话说，假设突触前神经元调谐到信号 x=(x1,…,xd)，我们需要指定这些信号如何影响突触后群体神经元的活动。从数学上讲，我们可以通过指定一个函数 y=f(x)来建立这种关系，该函数定义了突触前群体调谐的信号与突触后神经元调谐的信号 y 之间的关系。一旦我们定义了这些关系，我们就可以求解出能够建立这些关系的突触权重。

以无时间的例子为例，考虑一群调谐到标量 x 的神经元。然后我们可以表达一个目标群体应该调谐到一个标量 y，而这个 y 恰好是 x 的平方，即 y=f(x)=x2（见图4）。当然，我们也可以定义多变量映射。例如，如果一个突触前群体调谐到 x=(x1,x2)，那么我们可以定义 y=f(x)=x1x2。

2.5 求解突触权重
我们技术的第三步也是最后一步是求解突触权重，使得期望的神经调谐和计算在最终网络中“涌现”。一种潜在的方法是使用梯度下降进行全局优化。然而，对大型神经网络进行跨时间的全局优化在计算上代价高昂，并且通常需要大量的训练数据。

我们可以通过假设网络中的每个神经元已经具有我们在第一步中分配给它的调谐来绕过这个问题。从某种意义上说，我们是在建立一个自我实现的预言：假设网络以某种方式运行，我们求解使其以这种方式运行所需的连接权重。具体来说，对于基于电流的突触，求解权重 可以简化为一个线性回归问题：

重要的是，需要注意的是，尽管权重 wi 是局部最优的，但我们并不能保证该解是全局最优的；这是因为我们的解依赖于一个假设，即我们可以在每个神经元中完美地实现期望的调谐 ai。在实践中，这种情况从未发生，我们需要使用实际实现的调谐来迭代求解公式（3）；然而，就像任何其他全局优化方案一样，这种方法并不能保证收敛到全局最优解。尽管如此，在实践中，我们的一般方法在一次迭代中就能很好地工作。在本文的其余部分，我们将介绍使用这里介绍的技术构建的各种系统。

3. 时间

正如我们在上一节中讨论的那样，NEF描述了一种构建神经网络的方法，其中每个神经元实现某种期望的时空调谐。本节的目标是提供一些专注于时间方面的例子。特别是，我们讨论了上述技术可以用于建模时间细胞的两种方式：首先通过直接求解时间细胞调谐，然后通过实现时间基。我们在本节的最后展示了如何将实现时间基的网络扩展为预测时间序列。

3.1 时间细胞和时间基
时间细胞是表现出对刺激

然而，我们使用图5A中的时间编码器创建的这个时间基并不是最优的，因为它是一个非正交基[24]。通过在神经元群体上施加动态，使它们显式地生成一个正交的时间基，可以得到一个替代的、更合理的时间计算问题解决方案。例如，正如本文反复提到的主题一样，我们可以使用更高维的表征 x 来实现对低维刺激变量 u 的这种复杂调谐行为（参见第2.1节）。换句话说，我们希望实现一个形式为 x˙=f(x,u) 的动态系统，使得系统的冲激响应对应于有限时间窗口上的正交函数基。给定具有这种属性的 f，我们可以使用第2.4节中讨论的方法在神经网络中实现相应的动态。（将线性时不变系统 x˙=Ax+Bu 实现为一个变换 f 在数学上等同于将时间编码器 ei(t) 设置为各个状态维度冲激响应的线性组合[24]。因此，我们可以将下面讨论的基生成线性时不变系统，要么视为仔细选择时间调谐曲线 ei(t)，要么视为在表征空间 x 上实现一个动态系统）。

确实，存在能够（近似地）生成正交时间基的动态系统。这类“基生成系统”的开创性例子是勒让德延迟网络（Legendre Delay Network, LDN）[30]。LDN 是将长度为 θ 的时间延迟作为 q 维线性时不变（Linear Time-Invariant, LTI）系统 x˙=Ax+Bu 的数学最优实现。通过实现延迟，该系统将输入 u 的最后 θ 秒压缩到其状态 x中。LDN 的冲激响应近似于勒让德多项式（这也是其名称的由来），这是一种正交函数基。修改后的傅里叶（Modified Fourier, MF）系统在原理上与之类似，但生成的是傅里叶级数作为函数基[24]。

有趣的是，如图5B和图5C所示，在神经群体中实现这些LTI系统会导致与我们在图5A中的“临时”方法定性相似的时间调谐；实际上，LDN 复现了海马体时间细胞的关键特征[30]。也就是说，通过创建这个仅仅旨在最优地存储一段时间窗口内信息的网络，得到的调谐曲线与生物系统中观察到的非常接近。这一结果在各种时间基中都很稳健，不同的基在某些条件下各有优势[24]。

如果满足原始NEF[1]的约束条件（例如，突触是同质的一阶低通滤波器），那么在神经群体中实现基生成的LTI系统不仅在数学上更合理，而且在计算上也更高效（参见第2.5节）。如果这些约束条件不满足，或者需要手动控制各个调谐曲线（如图5A所示），那么建模者总是可以回到第2节中讨论的NEF的更新版。

鉴于这些时间调谐曲线，我们现在可以定义基于输入过去历史来计算函数的神经网络。这可以是简单的数学函数，例如延迟的时间乘积 。或者，网络可以计算任何将输入的时间序列映射到给定输出的函数。例如，如果这些输入是声音频率，而输出是单词发音的分类，那么这可以用于单词识别。实际上，LDN可以被视为生成了一个用于随时间编码信息的最优储层，我们不需要训练任何循环权重（因为它们是通过NEF求解的）。由于这种最优性，这些网络在需要识别时间模式的任务上超越了最先进的方法，如LSTM和Transformer[6,7,37]（见第3.4节）。

3.2 预测动态系统
除了直接使用NEF原则求解产生期望输出的连接权重外，我们还可以将NEF方法与在线学习规则相结合，创建随时间学习的神经网络。这对于建模学习其环境以及身体如何与之互动的生物系统尤为重要。

以一个预测简单手臂模型（即单关节摆）当前位置的网络为例（参见图6A、B）。我们将发送到手臂的扭矩指令 τ(t) 和手臂位置的延迟版本 ϕ(t−θ0) 输入到模型中。这种延迟反映了生物系统中从感觉外周返回数据通常存在显著的（数十毫秒）延迟。将这两个信号输入到具有时间细胞调谐的神经元群体中（通过在同一个神经元群体中实现两个LDN线性时不变系统来实现对两个变量 u=(u1,u2) 的时间细胞调谐；即，表征的状态变量是 x=(x1,x2)[24]）。现在，我们有了一个神经群体，它在其时间调谐曲线中编码了这两个重要变量（发送到手臂的指令和手臂的最后已知位置）在一段时间窗口内的信息。

系统的期望输出是手臂的当前位置。为了学习这一点，我们需要将一个基于误差的学习规则应用于具有工程化调谐曲线的神经群体的输出连接权重。我们将这些权重初始化为全零，然后使用标准增量学习规则的一个变体，称为规定误差敏感性规则（Prescribed Error Sensitivity, PES；[39]）。PES在概念上类似于增量规则（Δωi=−λaiϵ，其中 ai 是第 i 个神经元的活动，ϵ 是当前误差），但它被调整为处理脉冲神经元，并且输出和误差本身由神经元使用NEF调谐曲线方法表征。在这种情况下，误差是 ，即预测角度和实际角度之间的差异。

图6C显示了该系统学会了预测摆的位置，同时考虑了摆角的历史和输入的扭矩。

3.3 学习型勒让德预测器：在线多步预测
为了更复杂的一个例子，我们转向预测手臂未来轨迹的问题，而不是其当前位置。这种预测对于许多运动规划方法来说是必要的，尤其是在生物背景下存在显著延迟的情况下。然而，需要注意的是，上述使用标准基于误差的学习规则的方法不能应用于这里，因为预测时误差是未知的。由于预测是关于未来的，我们需要等到未来到来后才能评估我们预测中的误差。

为了解决这个问题，我们注意到，为了计算误差，我们需要记住我们过去的预测在一段时间窗口内的历史。这正是勒让德延迟网络（LDN）能够做到的。此外，为了计算基于增量的学习规则的权重更新，我们还需要过去（即做出预测时）的神经元活动。这同样可以使用LDN进行编码。

采用这种方法，我们开发了学习型勒让德预测器（Learned Legendre Predictor, LLP）学习算法。它使用LDN方法来编码预测的历史和过去的神经元活动，然后在真实观测值可用时（例如，对于一个0.5秒后的预测，真实观测值在0.5秒后可用）对权重应用基于误差的学习。重要的是，它不仅仅预测未来某个时间点的情况，而是预测整个未来轨迹，并基于整个过去的历史进行学习。此外，由于这段历史在勒让德空间中是线性编码的，学习规则本身最终是线性的，并且只需要涉及突触的信息，使其成为一个高效且生物学上合理的局部学习规则。

图7展示了LLP学习预测一个在盒子内反弹的球的运动，预测时间范围为0.5秒后。最初，该算法没有做出有用的预测，但随着它收集到更多的观测值，它学会了准确预测该时间窗口内的未来运动。我们通过查看在时间 t 时球的预测轨迹 和实际轨迹 x 之间的均方根误差（Root Mean Squared Error, RMSE）来评估模型的性能。

在这个例子中，尽管我们使用LLP来学习网络的输出，但神经元本身是使用与前面例子中相同的时间表征来定义的，尽管在这里输入的是球的 x 和 y 位置，使用的时间调谐曲线存储了该位置之前的0.5秒信息。作为扩展，我们还展示了使用一种替代方法（SSP，空间语义指针）来表征空间信息的效果，这将在下一节中讨论。

除了生物学应用之外，LLP作为一种多步预测的高效记忆算法，在机器学习中也有应用。在离线情况下，深度学习方法进行多步预测需要显式存储观测数据。以压缩损失为代价，LLP提供了一种时间和内存高效、在线的算法。

3.4 时间细胞调谐和时间基的应用
到目前为止，我们已经在建模时间预测的背景下介绍了勒让德延迟网络（LDN）。然而，我们还发现LDN是表示时间序列的一般机器学习应用中的有用工具；我们将LDN与线性编码层和非线性读出相结合，称为“勒让德记忆单元”（Legendre Memory Unit, LMU）[6]。Chilkuri和Eliasmith[7]利用了LMU固有的线性递归关系可以求解的事实，使得LMU可以并行训练。这使得与LSTM网络相比，训练速度提高了200倍，与Transformer模型相比，数据效率提高了10倍[37]。

然而，LMU中的LDN组件不仅仅是一个用于表示时间的代数假设，它还被映射到涉及学习精确时间的模拟眨眼任务中的小脑回路[41]。Stöckel等人[41]实现了一个基于稀疏连接循环网络的小脑模型，通过实现LDN的具体动态。LDN的动态被映射到高尔基细胞和颗粒细胞群体的动态上。这种方法再现了动物中观察到的时间条件行为，同时匹配了小脑细胞的经验属性。

此外，LDN还被用作建模动物如何估计时间间隔的基础[42]。在这项工作中，一个在时间间隔后产生输出的脉冲LDN模型被分析为输出的方差，并且被证明产生了在人类中观察到的行为缩放效应（对于大于500毫秒的间隔，方差增加）以及在猴子中观察到的神经放电模式。

这些结果表明，LDN不仅仅是一个有用的数学构造，它还具有解释能力，用于理解时间任务中的学习的神经生物学模型。

4. 空间
在描述了使用时间调谐的模型之后，我们现在将关注点转向时空调谐的空间方面。在本节中，“空间”的含义非常直接——我们感兴趣的是建模对物理空间的神经表征，而不是一般性的抽象无时间刺激。

动物中存在连续空间表征得到了心理学和生物学的支持。时空连续性影响事件和物体的感知方式[43]。动物能够在环境中发现新的捷径[44]，并且人类被认为可以通过心理扫描连续路径来估算距离[45]。此外，人类似乎对欧几里得几何有一种直观的理解[46]——尽管，并非所有空间感知的方面都与欧几里得几何一致[47]。

神经生理学数据为理解空间表征的神经基础提供了见解。已经发现了许多具有不同空间调谐曲线的神经元类别。海马体中的位置细胞在环境中特定位置放电[48]。边界细胞，存在于内侧内嗅皮层（MEC）和旁海马体中，当动物靠近环境边界时放电[49]。同样在MEC中还有对象向量细胞，其放电场取决于与环境中物体的距离和方向[50]。特别值得一提的是网格细胞，它们在环境中以六边形排列的点上激活，并被认为提供了空间的度量[51,52]。

鉴于NEF中神经调谐曲线与可以使用这些神经元执行的计算类别之间的紧密关系，我们希望找到空间表征的方法，这些方法不仅能够解释神经生物学系统中这种丰富的调谐多样性，而且还能使用这些神经元计算出行为上具有意义的输出。海马体-内嗅皮层回路中的空间敏感神经元被认为参与了许多认知过程，从路径整合到情景记忆的形成。

4.1 空间语义指针

这个向量被构建出来，并通过近似解绑对不同位置进行了“查询”。这些结果在图9B–D中展示。图中通过它们与邻近点的相似度来可视化高维的SSPs。

4.2 位置细胞、网格细胞和边界细胞

网格细胞被认为为海马体的认知地图提供了基础，并且被认为是路径整合的关键工具。网格细胞的模式在相位、尺度和方向上各有不同。不同相位的模式相互交错，而神经元的模式间距则沿着内侧内嗅皮层（MEC）的背腹轴从小到大的尺度模块进行组织。

除了生物学合理性之外，SSP（空间语义指针）表征方法在机器学习基准测试中也优于其他连续编码方法，例如径向基函数（Radial Basis Functions）、瓦片编码（Tile Coding）、独热编码（One-Hot Encodings）和归一化输入（Normalized Input）。在122个机器学习基准测试中，SSP方法在74个测试中表现最佳。这些测试包括分类和回归问题的混合。特别是，被约束以产生类似网格细胞活动模式的SSPs被发现在基准测试中是最好的编码方法，而随机选择的SSPs是第二好的编码方法。此外，网格细胞SSPs在空间强化学习任务中提高了学习速度。

4.3 稀疏表征
位置细胞和网格细胞的一个关键观察特征是它们的活动非常稀疏。也就是说，每个神经元只对一小部分可能的输入产生反应。人们认为，这一特征可能是海马体能够为多个环境存储空间地图的关键，并且可能提高了情景记忆的容量[59]。稀疏编码作为一个通用原则非常重要，当我们生成包含网格细胞的模型时，我们也可以在设置期望的调谐曲线时指定稀疏性。这对应于公式（1）中的偏置电流参数 βi。

由于稀疏性被认为有助于学习，我们再次转向一个在线学习示例，该示例结合了NEF方法（创建具有特定调谐曲线的神经元）和更传统的基于误差信号改变网络权重的方法。在这里，我们使用SSP方法生成代表强化学习任务中代理的空间位置和方向的神经元。然后，我们使用标准的优势演员-评论家（Advantage Actor-Critic）学习规则来学习基本的MiniGrid任务[60]中的价值（预期未来奖励）和策略（执行哪个动作）。

在这个任务中，代理需要在一个其他方面为空的8×8网格世界环境中导航到目标位置。代理的状态由其在空间中的 (x,y) 坐标位置和描述其面向方向的向量组成。这些状态信息被输入到一个非脉冲网格细胞神经元群体中（使用第4.2节中描述的方法实现）。结果如图11所示，该图说明了稀疏性的变化如何极大地影响性能，当10%到25%的神经元在任何给定时间处于活跃状态时，会出现可靠且准确的性能，这与生物数据一致[61]。有趣的是，有太多神经元处于活跃状态（超过50%）会对性能产生不利影响，除非神经元的数量非常少。

5. 空间与时间

我们已经介绍了如何在神经网络模型中纳入空间表征，例如物体和地标的位置。然而，在现实中，空间关系并不是固定不变的；相反，它们是动态的，并且随着动物在环境中的移动而不断变化。为了准确地导航并与世界互动，大脑必须能够整合空间和时间信息，考虑物体和动物自身位置随时间的变化。

许多认知过程需要将动态性纳入空间表征中。一个例子是路径整合，即动物根据运动信息连续更新自身位置估计的过程。这使得动物即使在没有直接感知到视觉地标或其他外部线索时，也能保持对自身在环境中的位置和方向的感知。

此外，在某些任务中，还需要考虑动态变量的历史或轨迹。例如，动物可能需要记住它所走过的路径，以便返回特定位置，或者它可能需要随着时间跟踪猎物动物的运动，以预测其未来位置。在这些情况下，大脑必须能够整合空间和时间信息，以产生适当的反应。

在本节中，我们介绍了使用连续时空调谐表征来执行路径整合和时间整合的模型。

5.1 路径整合
当动物在环境中移动时，其内部对自己位置的估计会随时间变化。这种空间信息的连续更新被称为路径整合。利用NEF的工具，我们可以使用SSPs（空间语义指针）来建模这一计算过程。设 φ(x(t)) 为代理位置估计的SSP表征。SSP估计可以通过速度输入 x˙(t) 进行更新：

其中 ⊛ 表示循环卷积。通过重复卷积，或者在傅里叶域中进行连续旋转，可以实现使用SSPs的路径整合。设 为频率域中的SSP。考虑其第 j 个分量的动态：

5.2 时间积分
虽然我们将SSP（空间语义指针）表征方法介绍为用于空间的，但一般来说，它可以用于任何连续值。一种可能性是将其作为一种方法，用于随时间存储一个值的过去历史。例如，与其存储一个 (x,y) 位置，我们可以在特定时间点 t 存储一个标量 x 值，表示为 (x(t),t)。这与上述方法以相同的方式进行编码[63]。

结果 Φ(t) 在高维向量空间中表示空间变量 x 的过去历史。与所有基于高维向量的方法一样，随着编码的信息越来越多，表征将逐渐变得不那么准确。

在实践中，我们希望有一个神经系统能够随着时间的推移不断更新这一表征。这里的想法是我们希望将当前表征移入过去，然后加入新的 x(t) 值。通过这种方式，系统不断维护一个值的过去历史。在理想情况下，这存储了无限量的信息（即变量 x(t) 的整个过去历史），但由于系统的限制，对于更久远的过去数据，表征将逐渐变得不那么准确。

这为编码信息提供了一种与LDN不同的方法，但也可以通过NEF的时空调谐曲线在神经上实现。这将导致不同类别的调谐曲线，并且适用于不同类型的计算。特别是，与LDN不同，LDN是针对已知重要时间窗口的条件特别优化的，而这里没有对可以存储的过去时间量的明确限制。

为了将这种记忆 Φ(t) 实现为一个神经系统，我们注意到将表征移入过去的操作与路径整合器中发生的操作完全相同，只是这里的移位是一个常数，而不是一个变量。通过在每个振荡器上添加基线频率（由SSP中时间的编码向量 b 给出）来实现这种SSP的连续更新。基线振荡可能对应于海马体的θ振荡（但这些对于单独整合 φ(x(t)) 并非必要[64]）。

为了构建一个编码这种记忆 Φ(t) 的神经系统，我们使用第2.4节中的方法构建一个循环神经网络，以实现一个动态系统。这种轨迹表征的动态（移动当前表征并添加新值）由以下公式给出：

IDFT{ib}和Φ(t)的循环卷积等价于将Φ(t)乘以由向量IDFT{ib}构造的循环矩阵，因此这是一个线性时不变（LTI）系统。实际上，该系统与第3.1节中使用的改进傅里叶（MF）系统的动态矩阵相同。

图13展示了一个这样的神经系统的输出，其输入是当前物理位置（x，y），因此网络正在存储过去的轨迹。为简化起见，这里我们只考虑存储x，但整个系统可以推广到多维空间。编码后的SSP Φ(t)由计算公式（10）的循环神经网络不断更新。为了在两个时间点解释Φ(t)，我们使用阴影来表示Φ(t)与图中该位置的理想SSP之间的相似性（点积）。更深的阴影可以被解释为轨迹在那个时间点处于该位置的指示。

总体而言，这些例子表明，空间和时间信息可以在同一系统中编码，并且神经工程框架（NEF）可以用来创建以生物学上有意义的方式操纵这些信息的神经网络。所有这些方法的数学模型在时间上是连续的，这种连续性在通过NEF编码到神经元时被考虑在内。因此，这些例子展示了突触和神经元的低级时间动态如何与神经连接相结合，从而产生诸如路径积分或记住完整轨迹等整体行为。

1. 准概率表示法

   在本节中，我们重新审视之前关于图13中的阴影可以被解释为某种概率的说法，并展示这如何导致一种新颖的方法，用于在神经元中编码和操纵概率，从而实现（近似的）贝叶斯优化。我们首先重申，空间语义指针（Spatial Semantic Pointers）可以表示物理空间和任意空间中的点（即变量x不一定对应于物理位置，而可以是任何向量）。此外，我们注意到两个空间语义指针表示之间的点积会诱导出一种相似性度量，这种度量近似于可用于核机器的有效核函数[56, 65]。因此，空间语义指针为设计引入概率到神经模型的神经调谐曲线提供了工具。
   

空间语义指针与核函数之间的关系被定义为

其中，k(⋅,⋅) 是由频率分量 A 诱导的核函数，类似于 Rahimi 和 Recht [54] 提出的随机傅里叶特征方法。由此可知，经过空间语义指针（SSP）编码的数据的加权和是潜在的概率分布，而概率则通过记忆向量（SSP的和，例如公式（10）中积分编码路径信息）与作为SSP编码的查询点之间的点积来实现。利用线性-非线性神经模型，我们可以设计出其发放率近似于概率分布的神经元 [66]。将空间语义指针与贝叶斯线性回归相结合，我们可以构建近似高斯过程回归的神经元群体 [65]。

通过简单的替换，核密度估计也可以利用SSP由神经元来近似实现。

然而，我们通常用于指定频率分量 A 的方法往往会诱导出并非严格非负的核函数，例如，对于均匀生成的 A，其对应的核函数是 sinc 函数，或者在第 4.2 节中描述的六边形网格模式所对应的 sinc 函数的加权乘积。由于这些核函数的值可以为负，因此我们将所表示的值视为准概率。Glad 等人 [67] 提出了准概率值与真实概率之间的转换关系，如公式（13）所示。

我们还可以将点积诱导的核函数与贝叶斯线性回归相结合，以近似在编码 φ(x) 中隐式表示的结构上的高斯过程回归。这使我们能够构建一个贝叶斯优化模型，并将其用作好奇心的模型[66]。这种方法建立了信息论探索模型与生物神经元调谐曲线之间的联系。图15表明，我们的贝叶斯优化模型的性能与精确实现相比，在统计上无法区分遗憾值，但在执行动作选择的计算效率上有显著提升。

我们的概率公式可以作为更大神经模型的一个组成部分。单个神经元可以被解释为代表概率，而且，这还允许大量的神经元群体代表概率分布。所表示的分布可以针对不同任务进行操作（例如，可以计算诸如熵之类的属性，分布可以在线学习等）。此外，还可以对复杂且结构化的数据（例如，轨迹或环境地图）计算概率。这项工作的含义首先是，使用空间语义指针（SSPs）构建的认知模型可以被解释为概率模型；其次，我们的准概率模型可能是大脑中不确定性产生方式的一种假设。

本文的目的是对神经工程框架进行连续的时空扩展，并提供使用这种方法构建的网络的广泛样本，以实证地建立理论的广泛性。显然，在这样做的过程中，我们引入了额外的算法（例如，LDNs和LLPs）和表征（例如，SSPs）方面的考虑，这些在开发最终模型中发挥了重要作用。然而，所有的工作都一致采用了连续的方法来表征每个应用及其神经实现的时间和状态空间属性。因此，我们所采用的时空方法是贯穿始终的统一主线。

我们提供的七个例子自然地分为三类：专注于时间处理的（即时间细胞和LLP）、专注于空间处理的（即海马体细胞类型、稀疏性和概率），以及将时间和空间结合起来的（即路径积分和时间积分）。此外，LDN是我们时间处理示例的核心，并且最初是为了解释神经时间处理而开发的，结果它在多种机器学习基准测试中，无论是在准确性还是效率方面，都超越了LSTM和Transformer等最先进的方法[6,7,37]。尽管LDN和LMU在机器学习中的实用性为将我们从生物计算中学到的知识转移到工程系统中提供了一个明确的例子，但我们认为它也为构建更复杂的脑模型和模拟各种脑区提供了一个高度可复用的组件。越来越多的脑区表现出类似时间细胞的调谐特性[32]，这在一定程度上支持了这种猜测。

同样，过去的研究已经表明，空间语义指针（SSPs）在机器学习应用中特别擅长表示连续数据[13]。然而，我们在这里的重点是展示这种新方法在表示连续空间方面的广泛应用，这种方式对生物学上合理的神经学习和计算是高效的。我们已经展示了这种应用既适用于空间（即海马体细胞类型）也适用于时空（即路径积分和时间积分）领域。此外，我们还展示了如何在简单的强化学习任务中使用这种相同的表示方法，以及在神经层面改变这种表示的稀疏性如何影响性能。最后，我们描述了SSPs与大脑中概率处理之间更具推测性的联系。我们展示了基于SSP的贝叶斯优化方法比标准技术要高效得多。鉴于SSPs与详细的神经实现以及SPA认知架构之间的紧密联系，我们假设这种技术可以为理解大脑中的概率处理提供一种新的视角。

综合来看，我们相信这些例子为我们的观点提供了支持，即我们的方法是一种普遍的方法，用于理解神经计算的生物学基础。这种扩展相对于原始的神经工程框架（NEF）最重要的优势是能够包含更广泛的各种单个神经元和突触动态。也就是说，我们在神经认知建模的工具箱中创造了一个新的工具：能够指定模型中特定部分的神经元具有特定的时空调谐曲线，并求解出将导致这种情况发生的连接权重，同时考虑生物学约束。这使得人们能够系统地探索像适应性这样普遍的动态如何提高某些神经计算的效率，同时保证网络层面的功能保持期望的状态。除了这一核心优势外，这种方法可以应用于各种线性或非线性时空处理，它能够有效地在功能模型中生成已知的神经反应，并且它直接连接到一个已建立的生物认知架构。

这些方法存在一些局限性。概率工作对表示的来源以及网络如何进行训练做出了很强的假设。LLP算法会平滑它所跟踪的信号，并且性能对超参数很敏感。此外，其他研究人员使用更广泛的不同定义来描述调谐曲线，其中他们捕捉任何神经动态；例如，时空树突交互作用或调制性神经递质的影响。这也许超出了我们的定义范围；即刺激与脉冲之间的映射。此外，为了使用本工作中使用的非线性-线性模型获得非线性调谐曲线，需要谨慎选择正确的输入表示——这类似于机器学习中的特征工程问题。然而，我们在示例中介绍的表示工具为希望在其自身模型中使用NEF的研究人员提供了一个很好的起点。

要充分利用这种方法，还有很多工作要做。例如，使用这些技术来创建或扩展像 Spaun 这样的大型认知模型，应该能够让我们系统地探索单个神经元以及更复杂的突触动态对高级认知功能的影响。此外，上述许多例子中使用的算法尚未整合到这种大规模模型中，包括使用 LDNs 来表征时间和预测行为，以及使用 SSPs 进行导航、学习和概率处理。确定在实践中可以成功整合到这种模型中的单细胞动态类型以及存在的限制将非常重要。

到目前为止，我们探索的大多数例子的动态性都不如复杂多隔室单细胞模型中发现的动态性那么复杂。一般来说，可以在 NEF 中包含更详细的被动树突模型[28]。此外，主动树突和基于传导的突触已经在所谓的“神谕监督神经工程框架”（osNEF）中被建模[19]。尽管这种更高的生物学保真度是以更计算密集型的训练过程为代价的，但为了模拟实际神经元的动态，这是必要的。事实上，主动树突对于捕捉例如海马体中的快速棘波篮状细胞[68]和小脑皮层的浦肯野细胞[69,70]的复杂神经元动态是必要的。目前尚不清楚本工作中介绍的工具是否能够成功应用于更生物学复杂的 osNEF。

1. 结论

在本文中，我们展示了如何在继续采纳其核心假设的同时扩展神经工程框架（NEF）的原则，从而支持构建各种生物学上受限的神经模型。特别是，开发从连续的时空表征和计算出发的模型，可以系统且成功地应用于从在线学习预测、运动控制到空间导航和概率推理等一系列行为。当然，本文提供的例子虽然各不相同，但只是生物系统中观察到的行为范围的一个小样本。因此，本文的主要目的是概述一般性的理论方法，并通过展示其效用来鼓励采纳核心假设。

鉴于这些成功，我们可以谨慎地更新对NEF的最初观察，即“关于神经系统如何运作的‘零阶猜测’”（第xiii页，[1]）。由于本文中描述的对NEF的扩展使我们能够更好地捕捉单个神经元和突触动态的细节，我们现在或许有理由将这个版本的NEF称为关于神经系统如何运作的“一阶猜测”。

原文链接：https://www.mdpi.com/2076-3425/13/2/245