函数的高级抽象：全息表示

The Hyperdimensional Transform- a Holographic Representation of Functions2310.16065v1超维变换:函数的全息表示

https://arxiv.org/abs/2310.16065

相关论文：

摘要

积分变换是将函数映射到更容易表征的空间中的宝贵数学工具。我们引入超维变换作为一种新型积分变换。它将平方可积函数转换为抗噪声、全息、高维表示，称为超维向量。核心思想是用随机函数的线性组合近似一个函数。我们正式引入了一组随机的正交基函数，并定义了超维变换及其逆变换。我们讨论了一般变换相关的属性，如其唯一性、逆变换的近似性质以及积分和导数的表示。超维变换提供了一个强大、灵活的框架，与其他积分变换（如傅里叶、拉普拉斯和模糊变换）紧密相连。此外，它为超维计算领域提供了理论基础和新见解，这是一种正在迅速引起关注的计算范式，用于高效和可解释的机器学习算法，具有在统计建模和机器学习中的潜在应用。此外，我们提供了简单易懂的代码，可以作为教程，允许重现演示示例，从计算变换到求解微分方程。

关键词：积分变换、微分方程、超维计算、向量符号架构、机器学习、高效计算

10 结论

我们正式介绍了超维变换，它允许通过称为超维向量的全息、高维表示来近似函数。我们讨论了一般变换相关的属性，如变换的唯一性、逆变换的近似属性以及内积、积分和导数的表示。超维变换为超维计算领域的研究提供了理论基础和见解。

我们还展示了这种变换如何被用来求解线性微分和积分方程，并讨论了它与其它积分变换的联系，如拉普拉斯变换、傅里叶变换和模糊变换。由于其处理噪声数据的能力，我们也预期它在机器学习和统计建模领域的应用。在我们的未来工作中，我们将在这一方向上进一步阐述。明显的方面包括基于函数评估样本的经验估计变换，以及利用超维计算快速高效能力的双极近似变换。此外，变换将整个信号、函数或分布表示为超维空间中的点的能力，开辟了新的可能性。

9 与其他积分变换的联系

在本节中，我们首先将超维变换与其它积分变换一般性地联系起来，重点讨论诸如拉普拉斯变换和傅里叶变换等突出的例子。其次，我们将更详细地讨论与模糊变换的紧密联系。

9.1 积分变换

如第1节所介绍，超维变换就像拉普拉斯变换、傅里叶变换和模糊变换一样，是一种积分变换。虽然拉普拉斯和傅里叶变换得到的是复数或实数变量的函数，但超维变换和模糊变换得到的函数定义域是一个有限集合。将函数值向量化后，模糊变换和超维变换可以被解释为函数到向量的转换。

一方面，超维变换的有限维度可能意味着表达能力较低，并可能带来一些信息损失，而基函数的随机性质引入了随机噪声。然而，随着向量维度的增加，这些效应会逐渐减弱。因此，假定维度是较大的。

另一方面，转换为有限维向量使得对更广泛的函数集的积分计算变得可行：变换的每个分量都可以直接计算，无需解析表达式。注意，超维变换定义于任何具有度量的抽象宇宙，允许例如在集合、序列或图上表示函数。

超维变换为求解微分方程开辟了一种独特的方法。不是解析解，而是可以计算近似解。由于包含微分和积分的泛函自然表达，超维变换将线性微分方程和线性积分方程转换为线性矩阵方程，将它们与线性回归统一起来。

虽然傅里叶变换将函数分解为无限集合的所有可能频率的波函数，但超维变换将函数分解为随机的波状函数。例如，在例1中，这些波状函数在与长度尺度相关的某个“平均频率”下在1和-1之间随机切换。由于可以设置有限的长度尺度，超维变换允许整合噪声数据。同样，对于模糊变换（见9.2节），由于有限维度和长度尺度概念导致的较低表达能力，允许过滤噪声。此外，基于全息表示的超维计算方法允许在机器学习中进行抗噪声分类。

1 引言 1.1 积分变换

在数学中，存在各种类型的积分变换（通常简称为积分变换，强调变换的结果），将函数从其原始空间映射到一个新的空间，例如拉普拉斯变换、傅里叶变换、小波变换、模糊变换和Z变换，仅举几例[1, 5, 17, 21]。其基本思想是，在新空间中某些问题可能更容易解决，并且新空间中的解决方案可以（近似地）映射回原始空间。例如，拉普拉斯变换是解决微分方程的著名工具；傅里叶变换是分析频率域中函数的工具；模糊变换除了用于解决微分方程外，还可以用于处理噪声数据和数据压缩目的。积分变换通常可以表示为数学算子，形式如下：

在这里，函数被变换为函数 ，变换的类型由和的定义域以及积分核(, )指定，积分核可以看作是一组基函数。例如，拉普拉斯变换将实变量的函数转换为复变量的函数，指数基函数−决定了积分核。Z变换将变量的离散时间信号转换为复变量的函数，积分核为−。最后一个例子是模糊变换，它将实变量的函数转换为定义域为有限集的函数，积分核由有限模糊划分{() ∣ = 1, 2,…, }确定。由于在这种情况下的定义域是一个有限集，因此可以将所有评估()()堆叠在一个向量中，并将变换解释为函数到向量的变换。

1.2 超维计算

我们的工作将上述积分变换与超维计算（HDC）领域联系起来[8, 9, 10]。超维计算，也称为向量符号架构（VSA），是一个高度跨学科的领域，与计算机科学、电气工程、人工智能、数学和认知科学等领域有关[9, 10]。特别是在机器学习和数据科学领域，超维计算最近引起了越来越多的兴趣，作为一种节能方法的应用也在增加[9]。

HDC的基本思想是，任何类型的对象都可以用高维分布式表示来表示，称为超维向量。HDC算法依赖于一组具有特定代数属性的关键向量操作：绑定、叠加（也称为捆绑或聚合）、置换和相似性测量。这些操作允许快速和稳健的计算。确切的代数运算取决于所选的超维向量类型。由于超维计算在很大程度上开始于各个领域的实证领域，已经描述和使用过不同类型的超维向量（例如，双极、二进制、三进制、稀疏、实值或复值）。然而，以下四个属性被认为是必不可少的[8]：

（i）超维性：向量应该具有大量的维度，例如10,000或更多。

（ii）鲁棒性：向量的一小部分损坏不应导致信息的显著丢失。HDC算法的结果应该能够容忍这种组件故障。这种鲁棒性来自于冗余表示。

（iii）整体或全息表示：信息不应该被局部存储，而是“均匀”分布在整个向量中。这与计算机中数据的常规表示非常不同，在计算机中，特定的位具有特定的含义。

（iv）随机性：向量应该是随机绘制的，通常其元素独立且同分布。

这些属性从大脑的功能中汲取灵感，并允许实现人工智能的各个方面的实现，如记忆、推理和学习。有关超维空间的更多详细信息，请参阅[8, 9, 10]。

1.3 进一步概述

本文介绍了一个线性算子，将函数转换为超维向量，如上述四个属性所定义。我们注意到最近有一项工作提出了类似的将函数表示为超维向量的想法。在[7 ]中，作者展示了与核方法的类比，并使用与超维“绑定”操作兼容的核将核分解的函数映射到超维空间。在我们的工作中，映射到超维空间更为通用。我们将其呈现为一个正式的积分变换。

具体来说，在第2节中，我们首先提供了一个具体的、正式的方法，将对象表示为超维向量。为此，我们引入了一个函数Δ ∶ → ℝ，称为归一化超维编码，它将的元素映射到超维空间ℝ，其中是一个大数。这个向量值函数的分量Δ()， = 1, 2,…, ，可以看作是正交基函数，类似于拉普拉斯变换中的函数−和模糊变换中的()。

第3节介绍了超维变换，这是一种线性算子 Δ，它将平方可积函数从 2() 映射到 ℝ。与许多积分变换的一个显著不同是，这种变换不仅限于以实数区间为定义域的函数，而是为以更抽象的 为定义域的函数定义的。

另外请注意，尽管 被假定为较大，但来自无限维空间 2() 的函数被变换为有限维向量空间 ℝ 中的函数。因此，这种变换只能表示原始函数的一个近似。例如，模糊变换也允许这种行为。

本研究的其余部分讨论了超维变换的各种与变换相关的属性，如唯一性（第3节）、逆变换（第4节）及其近似质量（第5节），以及导数、积分和内积的表示（第6节）。在第7节中，我们将理论扩展到生活在不同通用的多变量函数。

第8节中，作为应用，我们展示了线性微分方程和线性积分方程如何自然地在超维空间中表示。最后，在第9节中，我们讨论了与其他积分变换的密切联系。我们指出它们与新的超维变换有何不同，以及它可能在哪些类型的应用中发挥作用。

2 超维编码

在本节中，我们提供了一种具体的、正式的方法来将对象表示为超维向量。给定一个带有度量的宇宙universe ，我们定义了一个基于随机过程的超维编码，将 的元素映射到超维向量。我们还引入了一种规范化的概念。相应的规范化超维编码是将属于 2() 的函数映射到超维空间的第一步。

这些向量的个分量分别是来自随机过程Φ和ΔΦ的独立样本函数。如果Δ相对于是博赫纳可积的，那么我们说Δ是相对于随机过程Φ的的规范化超维编码。函数被称为未规范化的超维编码。

备注1. 博赫纳积分可以被视为向量值映射的勒贝格积分[2, 12]。随着被积函数在向量空间ℝ中取值，相对于的积分应该被解释为分量式的。在方程(1)中，由于被积函数在ℝ中取值，勒贝格积分和博赫纳积分的解释是一致的。

备注2. 相对于随机过程Φ的的规范化超维编码Δ只能定义，如果能够找到规范化函数。对于任意随机过程在任意度量空间(, , )上存在这样的函数，一般而言是未知的。例子1-3展示了在不同的度量空间和不同的随机过程中规范化函数的一些（不那么）明显的解决方案。

形容词“超维”指的是维度是巨大的1。维度为10,000维或更多是相当典型的[8]。根据大数定律[6]，我们有

在左侧，符号⟨⋅, ⋅⟩接受两个ℝ中的向量作为参数，并表示用维度缩放的欧几里得内积。右侧的期望值也代表内积，但是是在随机变量之间的。我们可以写作

根据上下文，可以使用期望值或者内积符号。通过构造，规范化编码Δ展现出鲁棒性、整体性和随机性的特性：每个向量分量是一个独立的随机样本，而信息是通过高维内积在统计上编码的，这些内积近似于期望值。

除了需要一个构造来获取随机过程的样本外，还需要一个归一化函数来实现具体的归一化编码Δ。找到归一化函数()的解相当于求解非线性积分方程

在超维计算领域，已经描述了构建超维表示的方法，这些方法适用于更多的宇宙universes ，代表不同类型的数据结构，如图形、图像、序列、符号、集合、树和其他结构[18, 10]。这些方法都有一个共同的随机方面。本节我们的主要贡献是将其形式化为具有期望值的随机过程和规范化的概念，这是下一节中正确制定变换所必需的。

3 超维变换

在本节中，我们使用规范化的超维编码Δ ∶ → ℝ来构建线性算子Δ，它将2()中的函数变换到ℝ。来自随机过程的独立样本的结果Δ将作为正交基函数，函数将被投影到这些基函数上。

在本节中，我们遵循以下假设：(, , )是一个有限度量空间；{Φ() ∣ ∈ }是一个取值在有界集合 ⊂ ℝ中的随机过程；并且Δ是相对于随机过程Φ的的规范化超维编码。除非另有说明，这些也是本研究其余部分的持续假设。

4 超维变换的逆变换

5逆超维变换的近似性质

根据定理2，这些例子中的规范化超维编码因此允许在 → ∞的极限下任意好地近似任何连续函数。

离散变量的函数也可以被任意接近地近似，因为它们总是连续的。人们总是可以定义一个由长度尺度参数化的编码，以便每个元素仅在接近0时与自身相关。例如，我们接下来通过包括一个长度尺度来扩展例3，以便满足长度尺度的定义和定理2的要求。

对于 ≥ 2/3，随机过程与例3相比没有变化。对于 < 1/3，的每个元素的编码仅与自身相关。可以为每个计算规范化常数，并验证是根据定义5的长度尺度：如果距离小于，则随机变量是正相关的；否则不相关。

现在，我们提供了当 ⊂ ℝ是一个实数区间时，随着长度尺度收敛速度的指示，再次假设极限 → ∞。

例8。考虑例5的设置，但我们不是改变，而是将设为较大（即50,000），并改变，它根据定理2和3作为长度尺度。不同长度尺度下的近似函数如图4所示。

6 积分和导数

在本节中，我们将描述如何以它们的超维变换的形式表示函数的积分和导数。首先，我们考虑积分，不需要额外的假设。

在超维计算的背景下，超维表示通常是低内存的。考虑例1，其中随机过程Φ取值为 = {-1, 1}，未规范化的超维表示() ∈ {-1, 1}可以表示为位向量。在这种情况下，每个分量作为在一定频率下在1和-1之间切换的随机函数（见例1），因此不是可微的。在实践中，这并不一定是估计导数的限制。请注意，编码假定了一个有限的长度尺度 > 0，在该尺度内点表示()和(′)是相关的。可以认为，因此的位置相对于精度是模糊的。因此，可以认为用接近长度尺度的有限差分ℎ来近似导数是合理的。̃的有限差分导数作为真实导数的近似，可以通过编码的有限差分导数精确计算。证明类似于定理5。

在图5(a)中，展示了使用有限差分计算的一些低阶导数的阶梯函数。阶梯函数说明了未规范化编码的一个分量，在一定频率下在1和-1之间切换。作为替代方案，人们可能会用基于例如sigmoid函数的平滑替代方案来替换中的阶梯函数（见图5(b)）。后一种方法得到的函数恢复̃更平滑，导数表达式也更精确，但代价是与简单的{1,-1}编码相比，编码更复杂。

7 扩展到多变量函数

7.1 超维表示：乘积编码

首先，我们引入乘积空间的超维表示。

这是统计学中关于零中心随机变量乘积的协方差的一个基本结果。这种一般外积（或张量积）属性激发了使用⊗来表示逐元素乘积。该属性适用于无限维度，并且仅在有限维度下近似成立。这种近似的优势在于维度是一个常数，而实外积的维度随着²增加。

考虑乘积度量空间( × , × , )。这里， × 是由和的元素的笛卡尔积生成的-代数。如果两个度量空间都是-有限的，这是标准假设（有限度量空间也是-有限的），乘积度量被唯一确定为对于任何 ∈ 和 ∈ ，( × ) = ()()。

作为一个乘积测度空间本身又是一个测度空间，前面提到的关于超维变换、逆变换和近似性质的理论仍然适用。接下来，我们将添加一些特别适用于乘积测度空间的结果。

7.2 边缘化

作为多变量的一个扩展，我们描述了如何在固定其他变量的同时对一个变量进行积分

备注11. 定理6中的三个表达式具有特定的解释，可以被解释为复杂分布的贝叶斯推断的基础：

方程(2)：使用超维变换的扩展对度量，可以将表达式 Δ()⊗ 理解为 *Δ δ ⊗ Δ 1。因此，内积代表了在变量 中狄拉克分布的函数的评估，并且在变量 中具有恒定密度1。

方程(3)：表达式 ⊗ Δ() 可以被看作是在变量 中的单变量函数的表示，条件是 。这个单变量函数通过与 的内积被积分。

方程(4)：表达式 ⊗ 可以被看作是在变量 中的边际单变量函数。与 Δ() 的内积则是在 处对这个函数的简单评估。因此，在超维空间中对多变量函数进行边际化就简单地对应于逐元素向量乘法。

7.3 偏导数和梯度

作为对多变量的最后一个扩展，我们增加了假设 ⊂ ℝ 和 ⊂ ℝ 是实数区间，并使用（偏）导数的标准定义。

8 应用：表达线性微分和积分方程

在本节中，我们展示了如何在超维空间内，通过显式的内积形式自然地表达函数评估、导数函数评估和积分评估，从而允许表达线性微分和积分方程。与其他积分变换（例如拉普拉斯变换或傅里叶变换）求解微分方程不同，这里不需要变换或逆变换的解析表达式。相反，超维变换提供了一种更数值化的方法，其中无限维函数被近似为有限的、大维度的向量。这种方法统一了求解微分方程和执行线性回归，从而与统计建模和机器学习领域建立了联系。

我们保留第3节的标准假设，并额外假设 ⊂ ℝ是一个实数区间。

8.1 线性微分方程

考虑 ∈ [, ]的线性微分方程的一般形式：

请注意，由于这个有限的维度，结果几乎看起来一点也不嘈杂。这里，优化了̃以尽可能好地匹配微分方程。̃的导数的条件和岭正则化可能确保了一个更平滑的̃。

在超维空间中求解微分方程之所以采取这种简单形式，是因为函数被表示为向量，而查询函数评估、导数函数评估等功能都表示为与的内积。然后，通过表达方程必须在哪些个点上成立，可以简单地构建一个个线性方程组。

8.2 线性积分方程

同样的推理也适用于积分方程。接下来，我们将展示如何将求解积分方程转化为求解线性回归问题。一个著名的非线性积分方程的例子是第二类弗雷德霍姆方程：

9 与其他积分变换的联系

在本节中，我们首先将超维变换与其它积分变换一般性地联系起来，重点讨论诸如拉普拉斯变换和傅里叶变换等突出的例子。其次，我们将更详细地讨论与模糊变换的紧密联系。

9.1 积分变换

如第1节所介绍，超维变换就像拉普拉斯变换、傅里叶变换和模糊变换一样，是一种积分变换。虽然拉普拉斯和傅里叶变换得到的是复数或实数变量的函数，但超维变换和模糊变换得到的函数定义域是一个有限集合。将函数值向量化后，模糊变换和超维变换可以被解释为函数到向量的转换。

一方面，超维变换的有限维度可能意味着表达能力较低，并可能带来一些信息损失，而基函数的随机性质引入了随机噪声。然而，随着向量维度的增加，这些效应会逐渐减弱。因此，假定维度是较大的。

另一方面，转换为有限维向量使得对更广泛的函数集的积分计算变得可行：变换的每个分量都可以直接计算，无需解析表达式。注意，超维变换定义于任何具有度量的抽象宇宙，允许例如在集合、序列或图上表示函数。

超维变换为求解微分方程开辟了一种独特的方法。不是解析解，而是可以计算近似解。由于包含微分和积分的泛函自然表达，超维变换将线性微分方程和线性积分方程转换为线性矩阵方程，将它们与线性回归统一起来。

虽然傅里叶变换将函数分解为无限集合的所有可能频率的波函数，但超维变换将函数分解为随机的波状函数。例如，在例1中，这些波状函数在与长度尺度相关的某个“平均频率”下在1和-1之间随机切换。由于可以设置有限的长度尺度，超维变换允许整合噪声数据。同样，对于模糊变换（见9.2节），由于有限维度和长度尺度概念导致的较低表达能力，允许过滤噪声。此外，基于全息表示的超维计算方法允许在机器学习中进行抗噪声分类。

9.2 模糊变换

由于其与超维变换的紧密联系，我们将更详细地讨论模糊变换。关于模糊变换的全面概述，请参阅[16]。

每个第个分量因此可以被解释为函数在节点周围的局部加权平均值。然后，逆变换得到的函数由下式给出：

并且是常数。这在没有边界的例2中是情况，在例1中，如果可以忽略边界效应（例如，当很小时），也是如此。一般来说，规范化函数不是常数。因此，超维变换和模糊变换之间的一个主要区别就是规范化的方式。

与超维变换类似，模糊变换也可以用来求解（偏）微分方程和处理噪声数据[17, 15, 20]。导数是基于模糊变换的分量 Fs之间的有限差分来计算的；有关使用模糊变换求解微分方程的更多细节，我们引用[15]。超维变换可以使用有限差分或无穷小差分，这取决于编码是否可微。两种方法都可以被视为使用某种有限长度尺度/精度求解微分方程的近似方法。

10 结论

我们正式介绍了超维变换，它允许通过称为超维向量的全息、高维表示来近似函数。我们讨论了一般变换相关的属性，如变换的唯一性、逆变换的近似属性以及内积、积分和导数的表示。超维变换为超维计算领域的研究提供了理论基础和见解。

我们还展示了这种变换如何被用来求解线性微分和积分方程，并讨论了它与其它积分变换的联系，如拉普拉斯变换、傅里叶变换和模糊变换。由于其处理噪声数据的能力，我们也预期它在机器学习和统计建模领域的应用。在我们的未来工作中，我们将在这一方向上进一步阐述。明显的方面包括基于函数评估样本的经验估计变换，以及利用超维计算快速高效能力的双极近似变换。此外，变换将整个信号、函数或分布表示为超维空间中的点的能力，开辟了新的可能性。