自适应变分量子 Kolmogorov-Arnold 网络

Adaptive Variational Quantum Kolmogorov-Arnold Network

自适应变分量子 Kolmogorov-Arnold 网络

https://arxiv.org/pdf/2503.21336

摘要

Kolmogorov-Arnold网络（KAN） 是一种新型的多层神经形态网络。全球许多研究小组都在研究该网络，包括图像处理、时间序列分析、解决物理问题以及实际应用如医学领域。因此，我们提出了一种自适应变分量子Kolmogorov-Arnold网络（Adaptive VQKAN） ，它以自适应方式将KAN的优势应用于变分量子算法中。Adaptive VQKAN是一种使用自适应变分线路（ansatz）的VQKAN，并通过不断扩展ansatz来重复执行VQKAN，类似于自适应变分量子本征求解器（Adaptive VQE） 。受Adaptive VQE启发的这种方法有望将VQKAN的精度提升到实用水平。结果表明，Adaptive VQKAN在拟合问题上的计算精度和速度都优于量子神经网络（QNN），并且使用的参数门数量要少得多。

1 引言

人工智能（AI）的快速发展主要得益于受人脑结构启发的神经网络模型¹。这些模型基于相互连接的人工神经元或感知器²,³，在从图像识别到自然语言处理等多个应用领域取得了巨大成功⁴。然而，传统的神经网络在处理大规模数据时面临显著的可扩展性和计算效率挑战，这成为AI进一步发展的瓶颈。为应对这些挑战，研究人员一直在探索替代的网络架构。

其中一种有前景的方法是Kolmogorov-Arnold网络（KAN） ，由Tegmark团队最近提出⁵。KAN通过直接操作神经元参数来优化突触权重，利用矩阵运算实现高效的计算。此外，这种创新设计使得该网络可以被解释和实现为量子电路，为将量子计算无缝集成到神经网络框架铺平了道路。因此，全球许多研究组开始研究KAN的理论与应用。尽管存在一些批评意见⁶，但已有大量研究成果，例如图像分析⁷、时间序列分析⁸、求解物理问题⁹,¹⁰，以及用于控制航天器和医学应用¹¹,¹²。

在此背景下，我们提出了一种自适应变分量子Kolmogorov-Arnold网络（VQKAN） 。VQKAN¹³ 是一种在变分量子框架下实现的量子机器学习中的KAN，它使用量子比特的测量结果作为“神经元”，使用量子门作为“突触”。VQKAN的框架与变分量子算法（VQAs）相同。VQKAN利用多层结构、参数门和反馈机制，通过修改 变分量子本征求解器（VQE）的结构来重现KAN的工作方式。近年来，量子计算算法，特别是 变分量子算法（VQAs）取得了显著进展。Aspuru-Guzik及其合作者¹⁴ 的基础性贡献为诸如 变分量子本征求解器（VQE）¹⁵、自适应VQE¹⁶、多尺度压缩VQE（MCVQE）¹⁷ 等算法的发展奠定了基础¹⁸,¹⁹。

这些算法与噪声中等规模量子（NISQ）设备 高度兼容，并已应用于量子机器学习任务²⁰–²⁸。这种将量子计算与AI结合的方式，展示了量子方法在提升人工智能模型性能和效率方面的变革潜力。相比量子神经网络（QNN）²⁹，VQKAN对过拟合具有更强的鲁棒性。然而，其预测精度较低，难以满足实际应用需求；因此，需要改进优化方法、ansatz结构以及方法本身以提高精度。因此，我们提出Adaptive VQKAN ，通过不断重复执行VQKAN并自适应地扩展ansatz来优化参数和状态。自适应VQE 是计算分子能量最精确的方法之一。因此，采用自适应ansatz和自适应VQE的方式有望比普通VQKAN更精确。

我们使用Adaptive VQKAN对拟合问题、分类问题以及求解傅里叶微分方程进行优化。结果表明，Adaptive VQKAN无法优化分类问题，在拟合问题上的优化精度和速度优于QNN，在求解傅里叶微分方程方面精度略低但速度更快。此外，其使用的参数门数量远少于QNN。该方法预计在实现与量子KAN³⁰ 相同精度时所需的参数数量也将少得多。

各章节说明：

• 第1节 为引言部分；
• 第2节 描述Adaptive VQKAN的方法细节及优化方法；
• 第3节 展示在拟合问题、分类问题以及求解傅里叶微分方程上的实验结果；
• 第4节 对结果进行讨论；
• 第5节 为结论与展望。

2方法

在本节中，我们介绍自适应变分量子Kolmogorov-Arnold网络（Adaptive VQKAN）方法。
VQKAN 是 KAN 的变分量子算法版本，它是一种基于神经元之间突触连接的多层网络。

3 结果

在本节中，我们展示了 Adaptive VQKAN 在函数拟合、分类以及求解傅里叶微分方程方面的实验结果。
所使用的算子池（operator pool）包含所有单体 Pauli 矩阵 X、Y、Z 以及两体 Pauli 矩阵 XX、XY、XZ、YY、YZ、ZZ 的组合。
试验次数（Number of trials）为 1000 次，训练轮数（Number of epochs）为 25 轮。

3.1 拟合问题

首先，我们描述在函数拟合问题中的实验结果。我们使用 Adaptive VQKAN 对以下方程在 10 个采样点上进行了拟合，并预测了 50 个测试点的值。目标函数定义如下：

图4（左）展示了第9次尝试的损失函数，而图4（右）展示了在测试点上的拟合结果。图3显示了在10次尝试中，损失函数随试验次数增加的收敛情况。预测的准确性不算差，平均绝对距离之和为14.9787。

我们分别在方式1的情况下，于图5(a)（左）、图5(a)（右）、图6(a)中展示了损失函数的值、测试点上绝对距离的总和随训练轮数（Number of epochs）的变化情况，以及测试点上的绝对距离。损失函数的值和测试点上的绝对距离均大于量子神经网络（QNN）的结果，并且绝对距离随训练轮数呈现出不稳定的波动。由于算子池中的所有算子并非都包含复共轭项，因此梯度可能无法有效搜索全局最小值。

我们分别在方式2的情况下，于图5(b)（左）、图5(b)（右）、图6(b)中展示了损失函数的值、测试点上绝对距离的总和随训练轮数的变化情况，以及测试点上的绝对距离。尽管ansatz仅包含单层结构，但由于最优尝试下的最小绝对距离总和为12.7381，损失函数的值和绝对距离的总和均小于QNN。测试点上的绝对距离平均接近于零，只有少数几个点偏差较大。相比方式1，方式2更有利于构建最优的自适应ansatz。两种方式下的自适应ansatz主要由相邻量子比特上的两体项构成。

3.2 分类问题

在本节中，我们展示了在二维平面上对点进行分类问题的实验结果。如果一个点位于函数 f的上方，则被赋予标签 +1；若位于 f的下方，则被赋予标签 −1。函数 f定义如下：

提前展示量子神经网络（QNN）的实验结果。图9（左）显示了不同尝试下的损失函数，而图9（右）展示了对50个随机采样点的分类结果。该计算尚未收敛到全局最小值，且绝对距离之和也较大，平均为45.902。

接下来，在方式2、训练轮数（Number of epochs）为15的情况下，我们展示了损失函数值以及测试点上绝对距离总和的10次尝试平均结果，分别显示在图12（左）和图12（右）中。损失函数值和绝对距离总和均大于其他所有情况。

随后，我们在方式2下，分别在图10（左）、图10（右）和图11中展示了损失函数值、测试点上绝对距离总和随训练轮数的变化情况以及测试点上的绝对距离。损失函数值未达到全局最小值，且其值大于QNN中所有尝试的最大值。在所有训练轮数区间内，绝对距离之和也均大于QNN的结果。此外，自适应ansatz从未扩展过。这表明非连续函数对于自适应ansatz来说优化难度较大。

3.3 傅里叶微分方程

我们使用自适应变分量子Kolmogorov-Arnold网络（Adaptive VQKAN）在10个采样点上求解以下傅里叶微分方程，并预测了50个测试点的值。
目标函数定义如下：

微分运算是通过参数位移规则（parameter shift rule）进行的；偏差 ∆x 和 ∆t 为 0.0001，目标函数中的项数（Number of terms）为 10。该微分方程作为损失函数中的约束条件，因此，为了计算整个损失函数的哈密顿量期望值，共进行了五次计算，因此这是一个带有约束条件的拟合问题。网络层数 Nl = 1 ，初始 ansatz 为 Z0 。

首先，我们展示量子神经网络（QNN）的结果。仅在此情况下，Rx 门的输入为 xi 。图13（左）显示了不同尝试下的损失函数，而图13（右）展示了对50个随机采样点的求解结果。损失函数值已收敛，测试点上的平均绝对距离为 6.2873 。

接下来，我们在方式2下，分别在图14（左）、图14（右）和图15中展示了损失函数值、测试点上绝对距离总和随训练轮数（Number of epochs）的变化情况，以及测试点上的绝对距离。损失函数值小于QNN的结果，但测试点上的绝对距离总和却大于QNN。某些测试点上的绝对距离接近 1.0 ，而其他点上的绝对距离也普遍较大。

随后，在方式2、训练轮数（Number of epochs）为15的情况下，我们展示了10次尝试中损失函数值以及测试点上绝对距离总和的平均结果，分别显示在图16（左）和图16（右）中。

损失函数的值除了第0次尝试外，其余均更大，并且绝对距离的最小总和约为6.25，因此，预测结果很少能超过QNN中绝对距离总和的平均水平。Adaptive VQKAN 的准确度低于 QNN，这与拟合和分类问题中的表现相反。这可能有两个原因：一是在算子池中我们并未使用所有的两体算符；二是由于固定的试验次数，优化过程在收敛之前就被终止了。

4 讨论

在本节中，我们讨论拟合问题和求解傅里叶微分方程的结果。算子池（operator pool）和初始的自适应ansatz对Adaptive VQKAN的准确性至关重要。其他影响准确性的因素在本文中未作讨论。

首先，我们讨论拟合问题的准确性。Adaptive VQKAN的准确性仅在本文所讨论的这一拟合问题上优于QNN。如图17和图18所示，初始ansatz会影响损失函数的值以及预测的准确性。

我们在以下四种情况下展示了10次尝试中损失函数值以及测试点上绝对距离总和的情况：

• （a）初始ansatz为X₀，

• （b）初始ansatz为Y₀，

• （c）初始ansatz为Z₀，

• （d）初始ansatz为两层的X₀， 分别显示在图17和图18中。

在情况（a）中，绝对距离总和的最小值出现在第5个训练轮次（epoch），而在情况（c）中，其最大值出现在第0个训练轮次。在情况（c）的末尾，绝对距离总和的平均值最小，而在情况（b）中最大。即使情况（c）的损失函数值整体最大，但在第1至第14个训练轮次中，其绝对距离总和的最小值平均最小。

不同类型的初始ansatz之间的差异并不十分显著；然而，某些类型的ansatz会使计算陷入过拟合状态。

算子池的内容在某些情况下可能导致准确性的下降，如图19所示。

从本图开始，算子池包含所有单体和两体算符。

我们在图19（左）和图19（右）中分别展示了方式1下损失函数值以及测试点上绝对距离总和随训练轮数的变化情况。

损失函数值波动不稳定，但绝对距离总和小于算子池受限时的情况。扩展算子池对于方式1的准确性提升是有效的。

我们在图19（左）和图19（右）中分别展示了方式2下使用扩展算子池的损失函数值以及测试点上绝对距离总和随训练轮数的变化情况。

损失函数值大于算子池受限时的值，绝对距离总和也更大，这与方式1的结果相反。算子池仍有改进空间；例如，添加三体和四体算符，或采用多目标优化来优化算子池内容，也可能有效。

其次，我们讨论求解傅里叶微分方程的结果与准确性。初始ansatz在求解傅里叶微分方程的准确性中起到了有效作用。

我们在以下两种情况下展示了10次尝试中损失函数值以及测试点上绝对距离总和的情况：

• （a）初始ansatz为Z₀，

• （b）初始ansatz为两层的X₀， 分别显示在图20和图21中。

情况（b）的平均损失函数值小于情况（a），但其绝对距离总和的平均值也大于情况（a）。求解傅里叶微分方程本质上是程序内部的条件拟合问题；然而，有效的初始ansatz与普通拟合问题有所不同。

我们在图22（左）和图22（右）中分别展示了方式2下使用扩展算子池的损失函数值以及测试点上绝对距离总和随训练轮数的变化情况。

损失函数值大于算子池受限时的值；然而，绝对距离总和却小于算子池受限时的情况。QNN被认为在该问题上表现较好。通过一些技术手段，如修改算子池，Adaptive VQKAN有潜力在准确性上超越QNN。

参数门的数量少于QNN，收敛所需的训练轮数仅为2；因此，计算时间短于QNN。在成功案例中，收敛所需的参数门数量至少为2，最多为4，无论是在拟合问题还是求解傅里叶微分方程中。该数量少于QNN³⁴ 和 VQKAN¹³，且收敛时间与Filtering VQE³⁵ 相当，后者是主流VQE家族中最快的VQE算法之一³⁶³⁷。

5 结论与展望

在本文中，我们揭示了自适应ansatz对QNN准确性的贡献。此外，为达到与标准ansatz和紧凑ansatz相同的计算精度，所需网络层数和参数门数量更少。

Adaptive VQKAN在拟合问题中无论在预测结果还是计算时间上都优于QNN，在求解微分方程方面在计算时间上也优于QNN。然而，该方法在优化非连续函数方面效果不佳。

Adaptive VQKAN在准确性和速度方面仍有改进空间。例如，可以通过模拟神经元功能来实现，如突触的传播和前瞻性电位³⁸。

原文链接https://arxiv.org/pdf/2503.21336