无监督表示学习的量子架构搜索

无监督表示学习的量子架构搜索

Quantum Architecture Search with Unsupervised Representation Learning

https://arxiv.org/pdf/2401.11576v5

无监督表示学习为在噪声中等规模量子（NISQ）设备上推进量子架构搜索（QAS）提供了新的机会。QAS旨在优化变分量子算法（VQAs）的量子电路。大多数QAS算法紧密耦合搜索空间和搜索算法，通常需要评估大量量子电路，导致计算成本高，限制了对更大量子电路的扩展。基于预测的QAS算法通过基于结构或嵌入估计电路性能来缓解这一问题。然而，这些方法通常需要耗时的标记来优化多个电路中的门参数，这对于训练准确的预测器至关重要。受经典神经架构搜索算法Arch2vec的启发，我们研究了在不依赖预测器的情况下，无监督表示学习在QAS中的潜力。我们的框架将无监督架构表示学习与搜索过程解耦，使学习到的表示可以应用于各种下游任务。此外，它还整合了改进的量子电路图编码方案，解决了现有表示的局限性并提高了搜索效率。这种无预测器的方法消除了对大型标记数据集的需求。在搜索过程中，我们采用REINFORCE和贝叶斯优化来探索潜在的表示空间，并比较它们与基线方法的性能。我们进一步通过在IBM的ibm_sherbrooke量子处理器上执行最佳MaxCut电路来验证我们的方法，确认即使在真实硬件噪声下，这些架构也保持了最佳性能。我们的结果表明，该框架能够高效地识别出高性能量子电路，并且搜索迭代次数更少。

量子机器学习、量子架构搜索和量子电路优化的研究人员和从业者，特别是那些有兴趣将无监督学习技术应用于提高近期量子设备（NISQ）电路设计效率和可扩展性的人员。

1 引言

量子计算（QC）在过去几十年中取得了显著进展。量子硬件的进步和新的量子算法在各种任务中展示了相较于经典计算机的潜在优势，例如图像处理[2]、强化学习[3]、知识图嵌入[4]和网络架构搜索[5, 6, 7]。然而，量子计算机的规模仍然受到环境噪声的限制，这导致性能不稳定。这些噪声中等规模量子（NISQ）设备缺乏容错能力，预计在不久的将来无法实现[8]。

变分量子算法（VQA），一种利用具有可调参数的量子操作的混合量子算法，在NISQ时代被认为是一种主要策略[9]。在VQA中，具有可训练参数的参数化量子电路（PQC）被视为量子神经网络的通用范式，并在量子机器学习中取得了显著成功。这些参数控制量子电路操作，调整电路输出状态的分布，并根据特定任务的目标函数由经典优化器更新。尽管VQA面临诸如巴伦高原（BP）和可扩展性问题等挑战，但它已显示出在包括图像处理、组合优化、化学和物理在内的各个领域提高性能的潜力[10, 11, 12]。VQA的一个例子是变分量子本征求解器（VQE）[13, 12]，它近似基态并为量子机器学习提供灵活性。我们考虑使用VQE来评估某些量子电路的性能。

无监督表示学习旨在发现未标记数据中的隐藏模式或结构，这是计算机视觉研究中一个研究充分的问题[14]。一种常见的方法是自编码器，它对特征表示有效。它由编码器和解码器组成，首先将图像映射到紧凑的特征空间，然后解码以重建相似的图像。除了图像，自编码器还可以从图中学习有用的特征，例如编码和重建有向无环图（DAGs）或神经网络架构[15, 16, 17, 18]。在大多数研究中，架构搜索和表示学习是耦合的，这导致搜索效率低下，严重依赖于需要大量评估的标记架构。Arch2vec框架旨在将表示学习从架构搜索中解耦，允许下游搜索算法独立操作[15]。这种解耦导致了一个平滑的潜在空间，使各种搜索算法受益，而无需广泛的标记。

量子架构搜索（QAS）或量子电路架构搜索是一种设计量子电路的高效和自动化框架，旨在优化电路性能[7]。已经提出了各种QAS算法[5, 7, 19, 20, 6]。然而，大多数算法结合了搜索空间和搜索算法，导致效率低下和高评估成本。搜索算法的有效性通常取决于搜索空间的定义、嵌入和学习程度。找到一个合适的电路通常需要多次评估不同的架构。尽管基于预测的QAS[20]可以将表示学习与搜索算法分离，但它通常依赖于通过评估对不同架构进行标记，训练性能严重依赖于评估的数量和质量以及嵌入。在这项工作中，我们受到解耦合思想的启发，我们的目标是在不进行标记的情况下进行QAS。我们寻求探索解耦合是否可以将量子电路架构嵌入到平滑的潜在空间中，从而有利于无预测器的QAS算法。我们总结我们的贡献如下：

• 我们成功地将解耦合纳入QAS中的无监督架构表示学习，显著提高了搜索效率和可扩展性。通过直接将REINFORCE和贝叶斯优化应用于潜在表示，我们消除了对训练在大型标记数据集上的预测器的需求，从而减少了预测不确定性。

• 我们提出的量子电路编码方案克服了现有表示的局限性，通过提供更准确和有效的嵌入，增强了搜索性能。

• 在量子机器学习任务上的广泛实验，包括量子态准备、最大割和量子化学[21, 22, 12]，证实了我们的框架在模拟器和真实量子硬件上的有效性。预训练的量子架构嵌入显著增强了这些应用中的QAS。

2 相关工作

无监督图表示学习。图数据正成为理解现实世界实体之间复杂交互的重要工具，例如生物化学分子[23]、社交网络[24]、电子商务平台的购买网络[25]以及学术合作网络[26]。图通常被表示为离散数据结构，这使得由于搜索空间大而难以解决下游任务。我们的工作集中在无监督图表示学习上，旨在在无监督的情况下将图嵌入低维、紧凑且连续的表示中，同时保留拓扑结构和节点属性。在这个领域，如[27, 18, 29]提出的方法使用局部随机游走统计或基于矩阵分解的目标来学习图表示。或者，像[30, 31]这样的方法通过预测边的存在来重建图的邻接矩阵，而其他方法，如[32, 33, 34]，最大化局部节点表示与汇总图表示之间的互信息。此外，[35]研究了图神经网络（GNNs）在区分不同图方面的表达能力，并引入了图同构网络（GINs），这些网络被证明与Weisfeiler-Lehman测试[36]在图同构方面一样强大。受Arch2vec[15]成功的启发，该方法使用无监督图表示学习进行经典神经架构搜索（NAS），我们采用GINs来注入性地编码量子架构结构，因为量子电路架构也可以表示为有向无环图（DAGs）。

量子架构搜索（QAS）。如前一节所讨论的，参数化量子电路（PQCs）作为各种变分量子算法（VQAs）的框架至关重要[7]。PQCs的表现力和纠缠能力在它们的优化性能中起着关键作用[38]。设计不当的框架可能因表现力或纠缠能力有限

而难以达到优化问题的全局最小值。此外，这样的框架可能更容易受到噪声的影响[39]，低效利用量子资源，或导致阻碍优化过程的高原现象[40, 41]。为了解决这些挑战，提出了QAS作为一种系统化方法来识别最优的PQCs。QAS的目标是高效且有效地搜索针对特定问题的高性能量子电路，同时最小化损失函数，同时遵守硬件量子比特连接、本机量子门集、量子噪声模型、训练损失景观和其他实际考虑的约束。量子架构与神经网络架构有许多共同属性，如层次结构、有向性和无环结构。因此，QAS方法在很大程度上受到NAS技术的启发。具体来说，诸如贪婪算法[42, 43]、进化或遗传方法[4, 45]、基于RL的引擎[46, 47]、贝叶斯优化[48]以及基于梯度的方法[5]等方法都被用来发现VQAs的改进PQCs。然而，这些方法需要评估大量的量子电路，这既耗时又计算成本高。为了缓解这个问题，引入了基于预测器的方法[19, 49]，但它们也面临局限性。这些方法依赖于大量标记的电路来训练具有通用能力的预测器，并在搜索过程中引入额外的不确定性，需要重新评估候选电路。在这项工作中，我们提出了一个旨在进一步解决这些挑战的框架。

3 使用无监督表示学习的量子架构搜索

在这项工作中，我们提出了我们的方法，如图1所示，它由两个独立的学习组件组成：一个用于电路架构表示学习的自编码器，以及包括搜索和评估策略的搜索过程。搜索空间由电路中的门数量和包含一般门类型（如X、Y、Z、H、Rx、Ry、Rz、U3、CNOT、CY、CZ）的操作池定义。一个随机生成器根据预定义的参数创建一组电路架构，包括量子比特数、门的数量和最大电路深度。然后将这些架构编码为两个矩阵并输入到自编码器中。自编码器独立地从搜索空间学习潜在分布，并为搜索算法生成预训练的架构嵌入。评估策略获取搜索算法生成的电路架构并返回性能评估。

为了评估电路架构，我们使用哈密顿量的基态来评估最大割问题和量子化学问题，并使用保真度来评估量子态制备任务。

3.1 电路编码方案

我们使用电路编码方案EGSQAS将量子电路表示为有向无环图（DAGs），如[49, 20]中所述。每个电路通过将每个量子比特上的门映射为一系列节点，并添加两个额外的节点来指示电路的输入和输出，转换为DAG。结果DAG由邻接矩阵描述，如图1a所示。节点集进一步由门矩阵表征，显示了包括位置信息的节点特征。然而，EGSQAS编码方案将所有占用的量子比特表示为1，没有区分两量子比特门的控制和目标位置，这限制了电路表示学习的有效性，并导致电路重建时的混淆。此外，邻接矩阵的权重没有准确反映原始门连接。为了解决这些限制，我们提出了一种新的编码方案。在我们的方法中，我们通过为两量子比特门（如CNOT和CZ）分配-1给控制量子比特和1给目标量子比特，明确编码位置信息。此外，我们将涉及的量子比特数量表示为邻接矩阵中的连接权重，如图1a所示。这些修改增强了电路表示学习并提高了搜索的整体有效性。

3.2 变分量子图同构自编码器

3.2.1 预备知识

最常见的图自编码器（GAEs）包括编码器和解码器，其中编码器将图映射到特征空间，解码器从这些特征中重建图。一个突出的例子是变分量子图自编码器（VGAE），这是一个有前途的无监督图表示学习框架，它利用图卷积网络作为其编码器，并使用简单的内积作为其解码器[30]。然而，在这项工作中，我们不采用常见的VGAE作为学习潜在表示的框架。相反，我们利用更强大的编码器GIN[35]。

3.2.2 编码器

GIN将结构和节点特征映射到潜在表示Z。后验分布q(Z|X, A)的近似为：

3.3 架构搜索策略

3.3.1 强化学习（RL）

在进行了PPO[50]和A2C[51]的初步试验后，我们采用REINFORCE[52]作为更有效的架构搜索强化学习算法。在这种方法中，环境的状态空间由预训练的嵌入组成，代理使用单细胞LSTM作为其策略网络。代理根据当前状态的分布选择一个动作，该动作对应于基于采样的潜在向量，并根据所选动作转换到下一个状态。对于最大割和量子化学任务，奖励被定义为能量与基态能量的比率，超出[0, 1]范围的值被剪辑为0或1。对于状态制备任务，使用电路保真度作为奖励。我们采用自适应批量大小，每个训练周期的步数由前一个训练周期的平均奖励决定。此外，我们使用线性自适应基线，由公式定义，其中 B 表示基线，α 是在范围[0,1]内预定义的值，是平均奖励。在这项工作中，每次运行涉及1000次搜索。

3.3.2 贝叶斯优化（BO）

作为本工作中使用的另一种无需标记的搜索策略，我们采用深度网络进行全局优化（DNGO）[53]在BO的背景下。我们采用一个具有从前馈神经网络中提取的基函数的单层自适应BO回归模型，该网络的隐藏层包含128个单元，以模拟函数分布。期望改进（EI）[54]被选为获取函数。EI识别每个训练周期的前k个嵌入，具有默认目标值为0.9。训练从一组16个样本开始，在每个后续周期中，EI提出的前k个架构被添加到批次中。网络使用更新批次中的架构重新训练100个周期。这个过程一直迭代，直到达到预定义的搜索迭代次数。

4 实验结果

为了证明我们方法的有效性和泛化能力，我们在三个著名的量子计算应用上进行了实验：量子态制备、最大割和量子化学。对于每个应用，我们首先从一个涉及4个量子比特的简单示例开始，然后进展到一个涉及8个量子比特的更复杂示例。我们使用随机生成器创建100,000个电路作为搜索空间，并在搜索过程中在无噪声模拟器上执行所有实验。详细的设置见附录A.2。我们首先评估模型在无监督表示学习（§4.1）中的预训练性能，然后评估基于预训练潜在表示的QAS性能（§4.2）。

4.1 预训练性能

观察（1）：GAE和VGAE[30]是NAS的两个流行基线。为了寻找能够捕捉量子电路架构优越潜在表示的模型，我们最初应用了这两个著名的模型。然而，由于量子电路架构与神经网络架构相比复杂性增加，这些模型未能达到预期结果。相比之下，基于GINs[35]的模型成功地获得了有效的潜在表示，这归因于它们更有效的邻居聚合方案。表1展示了使用EGSQAS编码的原始模型与使用我们增强编码的改进模型在4、8和12量子比特电路上的性能比较，评估了五个指标：Accuracyops，测量在保留测试集中门矩阵中门类型的重建精度；Accuracyqubit，反映门作用的量子比特的重建精度；Accuracyadj，测量邻接矩阵的重建精度；Falposmean，表示重建邻接矩阵中的平均误报率；以及KLD（KL散度），指示潜在表示的连续性和平滑性。表中的结果表明，使用我们增强编码的改进模型实现了与原始模型相当或更好的结果。这种改进可以归因于两个因素：首先，新编码更好地捕捉了电路的具体特征，其次，来自GIN多层输出的融合有助于保留浅层信息，从而实现更稳定的训练。

观察（2）：在图2中，我们采用两种流行技术PCA[55]和t-SNE[56]来可视化基于我们预训练模型的4量子比特和12量子比特量子机器学习（QML）应用的高维潜在表示。结果突出了我们新编码方法在无监督聚类和高维数据可视化方面的有效性。这些图表明，当搜索空间限制为4量子比特时，量子电路的潜在表示空间是平滑且紧凑的，性能相似的架构聚集在一起。值得注意的是，高性能量子电路架构集中在可视化的右侧。特别是，PCA产生了异常平滑且紧凑的表示，具有强烈的聚类聚效应，使得在这样的结构化潜在空间中进行QAS更加容易和高效。这为我们的QAS算法提供了一个坚实的基础。

对于12量子比特的潜在空间，高性能电路（以红色显示）不太突出，这可能是因为100,000个电路结构仅代表了12量子比特电路可能性的一个有限子集。因此，可以学习的电路数量是有限的。大多数高性能电路分布在潜在空间的左侧边缘，颜色从右到左逐渐从深到浅。

与使用EGSQAS编码方案的子图2i、2j、2k、2l和2m相比，这些图中红色点分布更松散，我们的新编码方案产生的潜在表示更加集中和平滑，如图2a、2b和2c所示。

4.2 量子架构搜索（QAS）性能

观察（1）：在图3中，我们展示了每次100次搜索的平均奖励。结果表明，REINFORCE和BO方法都有效地学会了导航潜在表示，在早期阶段显著提高了平均奖励。相比之下，随机搜索未能实现类似的改进。此外，尽管图表显示REINFORCE和BO方法的平均奖励方差略高于随机搜索，但它们的总体平均奖励明显高于随机搜索。

观察（2）：在图4中，我们说明了使用三种搜索方法执行1000次搜索后找到达到预设阈值的候选电路数量。结果表明，8量子比特实验更复杂，导致搜索空间内满足要求的电路数量较少。此外，在有限的搜索迭代次数内，REINFORCE和BO方法都能发现更多达到阈值的候选电路，即使在最坏情况下，即比较候选电路的最小数量时也是如此。值得注意的是，它们的表现显著超过了随机搜索方法，尤其是REINFORCE，尽管候选电路的最小和最大数量之间的差异表明REINFORCE对初始条件更敏感，与其他两种方法相比。这些发现突出了基于潜在表示的QAS引入的明显改进和优势，它能够在减少所需搜索次数的同时高效发现众多高性能候选电路。

观察（3）：在表2中，我们比较了各种QAS方法与我们的方法在4量子比特状态制备任务上的表现，使用100,000个电路的电路空间，并将搜索限制为1000次查询。GNNU RL和GSQASU RL分别代表[49]和[20]中的基于预测器的方法，两者都采用了我们的预训练模型。QASU RL RL(BO)表示在本工作中使用的带有REINFORCE（BO）的QAS方法。50次运行的平均结果表明，基于预测器的方法和我们的方法都能够用更少的样本识别出大量高性能电路。然而，基于预测器的方法依赖于标记电路来训练预测器，这引入了不确定性，因为它们可能会无意中过滤掉与性能较差的电路一起表现良好的架构。虽然较高的Fthr值可以过滤掉更多低性能电路，增加过滤空间中良好架构的比例，但它也牺牲了许多表现良好的电路，这可能导致随机搜索性能的提高，但代价是排除了一些最佳电路。尽管存在这些权衡，我们的方法实现了与基于预测器的方法相当的性能，展示了在NQAS/Neval方面的更高效率，同时需要更少的电路评估。在附录A.4中，我们展示了每种方法在每次实验中获得的最佳候选电路。观察（4）：在表3中，我们展示了不同框架和编码方法的搜索性能，重点比较4、8和12量子比特量子化学任务。在大多数情况下，我们的编码方法实现了最高的搜索效率，尽管12量子比特任务的性能略低于另一种编码方法。结合图2中的表示学习结果，我们观察到，当学习到的电路表示平滑且集中时，搜索效率显著提高。对于12量子比特实验，用于表示学习的电路可能不足以完全捕捉搜索空间，导致表示学习失败，如图2d所示，并导致搜索效率下降。

4.3 在真实量子硬件上的评估

为了评估我们架构搜索发现的电路的可部署能力，我们使用IBM的真实量子设备ibm_sherbrooke进行了额外实验。对于4节点和8节点的最大割（MaxCut）任务，我们选择了表现最佳的电路，并在一个无噪声模拟器上训练它们的参数。一旦训练完成，我们直接在真实设备上执行这些电路——没有进一步优化——使用相同的参数。

观察。如表4所示，尽管NISQ设备中存在硬件噪声和退相干，但最大割（MaxCut）电路在从模拟器转移到真实硬件时仍保持了其最优输出性能。这些电路在10,000次重复射击中实现了100%的概率测量最优比特串，与模拟器结果相同。这些结果验证了所发现的量子架构不仅在理想化环境中表现良好，而且能够在真实世界的量子处理器中可靠地转换，而无需重新调整参数。

5 结论

在这项工作中，我们专注于探索无监督架构表示学习是否能增强量子架构搜索（QAS）。通过将无监督架构表示学习从QAS过程中解耦合，我们成功消除了对大量标记电路的需求。此外，我们提出的量子电路编码方案解决了现有表示的局限性，通过更准确和有效的嵌入提高了搜索性能。此外，我们的框架在不依赖预测器的情况下进行QAS，直接将搜索算法，如REINFORCE和贝叶斯优化（BO），应用于潜在表示。我们通过在模拟器和真实量子硬件上进行的各种实验证明了这种方法的有效性。在我们的框架中，QAS的成功取决于无监督架构表示学习的质量以及搜索算法的选择。因此，我们建议进一步研究QAS的架构表示学习，以及在潜在表示空间内开发更高效的搜索策略。

https://arxiv.org/pdf/2401.11576v5