贝叶斯优化多目标批量能量-熵采集函数

贝叶斯优化的多目标批量能量-熵采集函数

Multi-Objective Batch Energy-Entropy Acquisition Function forBayesian Optimization

https://www.mdpi.com/2227-7390/13/17/2894

摘要
贝叶斯优化（BO）通过采用代理模型（通常为高斯过程）来逼近目标函数，并利用采集函数指导最优点的搜索，为优化昂贵的黑箱函数提供了一种高效框架。批处理贝叶斯优化进一步扩展了这一范式，通过同时选择并评估多个候选点来提高计算效率，但也带来了优化所得高维采集函数的挑战。在现有的批处理贝叶斯优化采集函数中，基于熵的方法被认为是当前最先进的方法，因为它们能够实现更全局高效的搜索，同时避免冗余评估。然而，这些方法往往未能充分捕捉所选批次点之间的依赖关系和相互作用。在本工作中，我们提出了一种用于贝叶斯优化的多目标批量能量–熵采集函数（MOBEEBO），该方法能够自适应地利用批次点之间的相关性。此外，MOBEEBO 将多种采集函数作为目标整合到一个统一的框架中，以实现更有效的批次多样性和质量。实验结果表明，所提出的算法适用于广泛的优化问题，并取得了具有竞争力的性能。

关键词：贝叶斯优化；批处理贝叶斯优化；采集函数

1. 引言

贝叶斯优化（BO）[1,2] 已成为解决涉及昂贵评估且未知目标函数的全局优化问题的强大框架。它特别适用于函数评估受到计算成本或时间限制的场景[3]。传统的贝叶斯优化以顺序方式运行，每次迭代选择一个候选点，并根据观测结果更新代理模型。然而，许多实际应用，包括材料发现[4]和深度神经网络的超参数调优[5]，允许并行进行函数评估。在此类设置中，同时选择并评估一批候选点，可以在保持甚至提升最终解质量的同时，大幅减少总优化时间。

贝叶斯优化在深度神经网络训练中的应用显著拓展了其研究范围[6]。后续研究探索了处理带噪声和多保真度数据[7,8]、高维空间[9]以及批量评估[10]的方法。这些进展通常涉及改进贝叶斯优化的两个基本组成部分之一：代理模型或采集函数。代理模型提供未知目标函数的概率近似，能够量化未探索区域的不确定性，其中高斯过程（GP）[11]是一种常见的选择。在此基础上，采集函数利用该代理模型来识别下一轮迭代中待评估的候选点，旨在探索高不确定性区域以改进模型与利用当前看起来有希望的区域之间取得平衡[12]。

已有多种采集函数被提出用于指导候选点的选择过程。期望改进（EI）[13]因其直观的吸引力以及在高斯假设下的闭式解而成为最广泛使用的方法之一。它倾向于选择那些预期能够改进当前最佳观测值的点。上置信界（UCB）[14]则引入了一个可调参数来控制探索与利用的平衡，选择具有高预测均值和高不确定性的点。这些方法在顺序单点设置中很高效，但在扩展到批量并行评估时面临挑战。为了解决这一问题，最近的研究已转向基于熵的采集函数，例如预测熵搜索（PES）[15]和最大值熵搜索（MES）[16]，这些方法直接旨在减少关于全局最优点位置的不确定性。近期，批量能量–熵贝叶斯优化（BEEBO）方法[17]被提出，它能够在优化过程中精确控制探索–利用权衡。因此，基于熵的方法被广泛认为是批量贝叶斯优化中的最新技术。

然而，这些基于熵的方法本质上未能捕捉所选批次点之间的相关性，通常将批次点独立处理，这可能加剧冗余性并限制对目标函数的有效探索。尽管BEEBO通过引入能量–熵项来捕捉全局信息，从而部分解决了这一问题，但它仍未显式地对批次点之间的成对相关性进行建模。因此，所选点可能存在冗余，或者未能充分利用分布在整个批次中的互补信息。为此，在本工作中，我们提出了一种用于贝叶斯优化的多目标批量能量–熵采集函数（MOBEEBO），该函数带有一个基于RBF核的正则化项，可直接量化成对相似性，从而在批次选择中促进多样性并减少冗余性。

本文的主要贡献如下：

• 我们开发了一个多目标框架，能够同时整合多种采集函数类型，从而实现自适应的探索–利用权衡以及更均衡的批次选择决策。
• 我们引入了一个基于能量的正则化项，显式地建模并利用批次点之间的相关性，从而提升所选候选点的多样性和质量。
• 通过全面的实证评估，我们证明了MOBEEBO在多种优化基准测试中，整体上相比现有最先进方法取得了更优或具有竞争力的性能。

MOBEEBO 广泛适用于连续的、昂贵的黑箱优化问题。它在评估成本高昂的场景下尤为有效，因为此时高效利用每一次批量评估至关重要。通过建立在通用贝叶斯优化框架之上，并融合多种采集策略，MOBEEBO 在广泛的应用领域中保持了其通用性和鲁棒性。

2. 相关工作

经典采集策略的批量扩展已成为并行贝叶斯优化的核心关注点。这些方法通常建立在成熟的单点采集函数之上，例如 EI [13]、知识梯度（KG）[18] 和 UCB [14]。当这些函数被调整为每轮迭代选择 Q 个点的批次时，便产生了诸如 q-EI 和 q-UCB [19] 等批量变体。虽然单点形式通常具有闭式解，能够实现基于梯度的高效优化，但将它们扩展到批量设置会引入显著的计算挑战。在大多数情况下，批量采集函数缺乏闭式解，并且涉及对联合分布的高维积分，因此需要采用其他优化方法，例如贪心顺序选择、蒙特卡洛近似，或者对多个查询点联合期望的解析近似 [20]。

例如，EI 采集函数通过最大化相对于迄今为止观测到的最佳值（记为 f∗t ）的期望改进来选择下一个查询点。当使用高斯过程作为代理模型时，EI 可以根据模型的预测均值 μ(x) 和方差 Σ(x) 以闭式形式计算。然而，将 EI 扩展到批量设置（q-EI）——即同时选择多个点时，其联合评估需要对多元高斯分布进行积分，随着批量大小的增加，这很快就会变得难以处理。在这种情况下，通常采用蒙特卡洛（MC）采样 [21] 来近似采集值及其梯度。然而，由于样本复杂度的指数级增长，MC 方法可能效率低下，尤其是在高维设置中 [22]。为了解决这个问题，Wilson 等人 [19] 应用了重参数化技巧 [23] 来重新表述采集函数中涉及的积分，从而实现了基于梯度的有效优化。该方法已被证明是有效的，特别是在中等到高维度的问题中。

最近，基于熵的采集函数被提出用于批量贝叶斯优化，因为它们能够直接且全局地减少关于全局最优点位置或值的不确定性，从而实现更具信息性、非冗余且样本高效的批量选择。这一观点推动了诸如熵搜索（ES）[24]、PES [15] 和 MES [16] 等方法的发展。MES 的一个关键区别在于，它关注的是未知最优值与观测数据之间的互信息 [25]，而不是最优点本身的位置。在 MES 的基础上，通用信息型贝叶斯优化（GIBBON）方法 [26] 引入了一种可扩展的扩展方法，适用于批量选择和更复杂的场景，例如多保真度优化。然而，由于近似误差，其在批量较大时（例如 Q > 50）性能会下降，因此需要使用启发式的多样性增强技术。为了缓解这个问题，Teufel 等人 [17] 提出了 BEEBO 采集函数，该函数引入了一个熵项，通过能量–熵权衡来平衡信息增益和多样性。这种形式不需要蒙特卡洛采样，并且能够高效地选择既具有信息性又具有多样性的批量点。

3. MOBEEBO 采集函数

我们提出的 MOBEEBO 通过结合基于梯度的批量优化和显式的多样性正则化，来解决可扩展性和冗余性问题。通过一个基于 RBF 核的正则化项来惩罚过于接近的批量点，从而缓解冗余；同时，将 BEEBO、q-EI 和 q-UCB 整合在一个统一框架中，确保探索、利用和批量多样性得到自适应平衡。

4. 实验
4.1. 实验设置

我们在多个具有不同输入维度的基准优化问题上评估了 MOBEEBO 的性能，这些问题总结于表 1 中。这些基准函数均使用 BoTorch 库 [28] 实现，其中多个函数支持灵活的维度配置。为了在高维设置下评估性能，我们将 Ackley、Rastrigin 和 Levy 函数配置为在 10 维搜索空间中运行，从而提供了一组具有代表性的中等高维优化挑战。

对于每个测试函数，我们使用提出的 MOBEEBO 算法进行了 10 次独立的贝叶斯优化运行，并将结果与基线方法 q-EI、q-UCB 以及最先进的基于熵的方法 BEEBO 进行了比较。为确保公平比较，所有方法均采用相同的实验设置。温度参数 T T按照原始 BEEBO 工作中的配置设为 0.5。公式 (7) 中正则化项的长度尺度 ℓ ℓ设为 1，以产生中等强度的排斥效应。高斯过程代理模型使用 100 个随机采样点进行初始化，每个点与已知全局最优点的距离至少为 0.5 个单位，以确保具有挑战性和无偏的起始条件。对于基于蒙特卡洛的方法（q-EI 和 q-UCB），我们使用 M = 1024 个样本来评估采集函数。为了消除随机变异的影响，所有方法均使用相同的随机种子，确保每次独立运行都从相同的初始设计点开始。所有实验均采用固定的批量大小 Q = 100 ，这代表了贝叶斯优化文献中的大批量设置 [29]。

4.2. 结果

所提出的 MOBEEBO 方法与三种基线方法在连续多轮贝叶斯优化中的优化性能如图 1–6 所示。每张图包含两个子图：左图显示在每次迭代时（截至该轮）在五次独立运行中找到的平均最佳目标值（ incumbent ），右图显示每批次中评估的 Q 个点的平均目标值。两个阴影区域均表示平均性能周围的一个标准差范围。

可以明显看出，除了嵌入式的 Hartmann 测试问题（在该问题上 MOBEEBO 的表现略逊于其他方法）之外，所提出的 MOBEEBO 采集函数在 10 轮贝叶斯优化中总体上优于其他方法。这种强劲的表现可归因于 MOBEEBO 较低的预测不确定性，而这一特性源于引入了基于 RBF 的正则化项 R ( x ) 。通过增强每批次内 Q 个点之间的相关性，该项鼓励对搜索空间进行更连贯的利用，从而降低采集函数的方差并提升优化过程中的整体稳定性。在测试中，BEEBO 取得了第二好的整体表现。它在各轮次中选择的 Q 个点表现出更大的多样性但较低的相关性，这可能会促进对搜索空间更广泛的探索。然而，由此产生的高不确定性可能会因将资源分配到较不 promising 的区域而阻碍利用，导致在意外区域进行低效的搜索。

具体而言，对于 Ackley 函数，MOBEEBO 表现出最快的收敛速度，达到约 3 的值，在所有方法中最为接近最优值 0。相比之下，q-UCB 和 BEEBO 表现出相似的收敛性能，而 q-EI 的收敛性最差，最终优化值约为 10。

然而，Rastrigin 函数的趋势有所不同。在 BO 的初期轮次中，MOBEEBO 收敛最慢，但其性能曲线在第三轮左右出现急剧下降，并持续下降至接近 40。BEEBO、q-UCB 和 q-EI 表现出相似的收敛模式，其性能在优化过程结束时趋于稳定。此外，Rastrigin 函数的搜索期望波动极小，表明优化过程相对稳定。与之前的场景不同，所有采集函数在此函数上表现出相似的收敛性能，其中 MOBEEBO 略好，q-EI 略差。

与 Rastrigin 问题类似，MOBEEBO 在 Shekel 函数上的初始收敛表现仅为中等，略优于 q-EI，但在第五轮 BO 中性能得到提升，达到约 -7.8，接近最优值 -8。

相比之下，MOBEEBO 在嵌入式的 Hartmann 函数上表现不佳，达到的最佳适应度值约为 -3，而其他三种采集函数收敛到约 -3.25，接近最优值 -3.32237。此外，在此测试问题上，除 MOBEEBO 外的所有采集函数在 Q 个批量点上都表现出剧烈波动。

最后，对于 Cosine Mixture 测试函数的最大化问题，所提出的 MOBEEBO 在各轮次中表现出最快的收敛速度和最佳的优化性能，同时保持最小的波动。

最后，所有采集函数在极高维设置下对 Ackley、Rastrigin 和 Levy 函数的测试性能进行了评估。对应的 100 维问题的结果如图 7 所示。可以清楚地观察到，我们提出的 MOBEEBO 在优化早期阶段比其他三种采集函数收敛得快得多，随后趋于稳定，最终在所有三个测试函数上均取得了最佳的优化性能。相比之下，q-EI 表现最差，因为它未能在任何测试问题上收敛。这种现象的一个可能原因是，在极高维空间中，很难达到最佳评估适应度，而该值作为指导优化方向的锚点。令人惊讶的是，观察到 BEEBO 与 q-EI 类似，也未能收敛，其最终优化结果与随机初始化几乎无法区分。这一发现间接表明，批量优化所引入的冗余在高维问题中变得更加明显。

为了进一步验证 MOBEEBO 采集函数的有效性，我们使用前几轮选择出的 Q 个批量点，额外进行了 10 轮搜索。在此设置下，温度参数 T T 设为 0 以实现完全利用。由于各个测试问题的尺度差异很大，我们对每个问题的结果进行了最小-最大归一化。这种归一化使得我们能够在从 0 到 1 的标准化尺度上衡量向真实最优值逼近的进展。所有测试函数在 10 轮 BO 后，多次运行平均得到的最高观测值以及 Wilcoxon 检验结果列于表 2 中，最佳值以粗体突出显示。可以明显看出，除了嵌入式 Hartmann 函数（在该函数上 MOBEEBO 的值为 0.996，略低于 BEEBO）之外，MOBEEBO 在几乎所有测试函数上都取得了最高的搜索值。具体而言，对于 Shekel 测试问题，MOBEEBO 显著优于所有其他方法，达到了 0.828 的值，比 BEEBO 取得的第二佳结果高出约 0.5。

5. 结论

在本文中，我们提出了 MOBEEBO，这是一种用于贝叶斯优化的多目标批量能量–熵采集函数，能够显式地考虑批量点之间的相关性。通过将多种采集函数整合到一个统一的框架中，MOBEEBO 利用了不同选择策略的互补优势，实现了既全局高效又非冗余的探索。在多种优化问题上的实证评估表明，与包括基于熵的方法在内的现有最先进方法相比，MOBEEBO 总体上取得了具有竞争力或更优的性能。这些结果凸显了多目标及相关性感知的采集策略在推动批量贝叶斯优化发展方面的潜力。

尽管如此，MOBEEBO 也存在一定的局限性。其性能可能对超参数（例如温度 T T）的选择较为敏感，并且评估多个采集目标的计算成本会随着批量大小 Q Q和问题维度的增加而增长。此外，当前的公式假设了相对无噪声的设置，这可能无法完全反映实际应用中的挑战。因此，未来的研究方向将包括：对 MOBEEBO 的收敛保证进行正式的理论分析，其中包括研究其在噪声和约束优化场景下的鲁棒性，以及开发可扩展的近似方法以提高在极大批量和高维问题上的效率。

原文链接：https://www.mdpi.com/2227-7390/13/17/2894