贝叶斯优化中采集函数的多目标化

Multi-Objectivising Acquisition Functions in Bayesian Optimisation

贝叶斯优化中采集函数的多目标化

https://dl.acm.org/doi/pdf/10.1145/3716504

摘要

贝叶斯优化（Bayesian Optimisation, BO）是一种用于解决昂贵优化问题的有效方法，其中采集函数（acquisition function）在实现开发（exploitation）与探索（exploration）之间的权衡方面起着关键作用。开发与探索之间的权衡具有挑战性；过度关注开发可能导致搜索陷入停滞，而过多的探索则可能减缓收敛速度。已有研究将 多目标化（multi-objectivisation）作为缓解开发–探索权衡问题的一种有效方法。沿着这一思路，本文提出了一种 基于多目标化的自适应开发–探索权衡框架（Multi-Objectivisation-Based Adaptive Exploitation–Exploration Framework, MOEE） ，用于在贝叶斯优化中平衡开发与探索。MOEE 考虑由开发和探索目标形成的非支配前沿（nondominated front），并根据当前搜索状态自适应地切换对开发和探索的关注重点。我们在19个合成和实际问题实例（维度从1到20）上验证了我们的方法，结果表明所提出的多目标化框架能够在开发与探索之间实现良好的平衡。

CCS 概念：
• 计算方法 → 回归监督学习；连续空间搜索；
• 计算理论 → 非凸优化；

附加关键词和短语：贝叶斯优化，采集函数，多目标优化，多目标化，进化算法

1 引言

随机优化算法旨在为给定的优化问题在目标函数上找到高质量的解。这些算法在优化过程中需要平衡开发（exploitation）与探索（exploration） 。前者指的是利用已找到的优质解，后者指的是探索未知区域。有时，在有限的预算下也需要进行这种权衡，例如当解的评估成本很高时，这在实际问题中并不少见 [Daniels et al., 2018；Eriksson et al., 2019；Jin et al., 2018；Pan et al., 2021；Tong et al., 2019a, 2019b, 2021]。

贝叶斯优化（Bayesian Optimisation, BO）作为一种适用于有限预算问题的有效方法，已被广泛应用于多个领域，如强化学习 [Brochu et al., 2010；Imani and Ghoreishi, 2021]、自动化机器学习 [Bergstra et al., 2011；Galuzzi et al., 2020]、自动化化学设计 [Griffiths and Hernández-Lobato, 2017] 和机器人学 [Lizotte et al., 2007] 等。一般来说，BO 包含两个主要组成部分：代理模型（surrogate model）和采集函数（acquisition function）。代理模型通常使用高斯过程回归（Gaussian Process Regression）[Binois and Wycoff, 2022] 来从样本池中学习一个潜在的目标函数。采集函数则用于选择一个合适的解，以实现开发与探索之间的权衡 [Shahriari et al., 2015]。

然而，如何在开发与探索之间做出权衡是一个具有挑战性的问题。如果优化算法过于偏向开发，可能会导致搜索陷入停滞；而如果过于偏向探索，则可能导致收敛速度减慢。为了解决这一问题，本文将重点放在采集函数上，即如何根据已有信息选择下一个待评估的解，以实现开发与探索之间的有效权衡。

文献中已经提出了几种经典的采集函数来确定最值得评估的解，包括改进概率（Probability of Improvement, PI）[Kushner, 1964]、置信下界（Lower Confidence Bound, LCB） [Lai and Robbins, 1985] 和期望改进（Expected Improvement, EI） [Mockus et al., 1978；Zhan and Xing, 2020]。尽管这些经典方法表现出较好的性能，但各自也存在局限性。PI 倾向于选择离当前最优解不远的解，因此偏向于开发。LCB 同时考虑了开发与探索，最终可以找到全局最优解；但其收敛速度可能较慢 [De Ath et al., 2021b]。像 LCB 一样，EI 也兼顾了开发与探索，但在某些情况下可能出现过度探索[Guo et al., 2021] 或过度开发 [Chen et al., 2019]，其搜索过程容易陷入低质量的局部最优 [Yan et al., 2022]。

研究人员也在尝试更好地平衡开发与探索 [Brochu et al., 2010；Lizotte, 2008；Shende et al., 2021]。Frazier 等人 [2008] 提出了一种前瞻性采集函数 ，即知识梯度（Knowledge Gradient, KG） ，它通过最大化采样新点后的预期增量价值来选择下一个待评估的解，从而实现权衡。Hvarfner 等人 [2022] 提出了联合熵搜索（Joint Entropy Search, JES） ，该方法考虑了基于幻想最优输入/输出对所引起的熵减少，从而在探索与开发之间取得平衡。Lizotte [2008]、Brochu 等人 [2010] 和 Shende 等人 [2021] 建议使用一个探索参数来控制开发–探索权衡。同样地，Wang 等人 [2017] 提出了一种基于改进矩生成函数的方法，其中包括使用一个参数来平衡探索与开发。然而，若缺乏特定问题的知识，选择合适的参数值并不容易。Sóbester 等人 [2005] 和 Xiao 等人 [2012] 提出了一种加权采集函数，该函数使用开发项与探索项的加权和，通过调整这两项的权重来决定是进行局部搜索还是全局搜索。然而，在他们的方法中，权重需要根据函数的具体知识预先设定。为了解决这个问题，Yan 等人 [2022] 和 Benjamins 等人 [2023] 提出了自适应设置开发与探索项权重的方法。

最近，为了在搜索过程中更好地平衡开发与探索，De Ath 等人 [2021b] 提出了一种双目标优化方法（称为 -greedy），该方法根据采集函数中由开发项与探索项形成的帕累托前沿（Pareto front）来决定下一个待评估的解。在 -greedy 方法中，主要进行开发操作，使得搜索能够快速朝着高质量解的方向移动，偶尔通过选择一个随机解来进行探索，从而可以探索尚未开发但可能更优的区域。

尽管这种方法取得了有前景的结果 [De Ath et al., 2021b]，但它仍有改进空间。虽然以开发为主是有益的，但在搜索陷入停滞时，持续专注于开发可能效果不佳。偶尔进行探索也是有益的，但从权衡前沿中随机选择一个解进行探索，可能难以发现尚未开发但仍具潜力的区域。

受到上述研究的启发，我们提出了一种通用的多目标化框架 （称为 基于多目标化的自适应开发–探索权衡框架 Multi-Objectivisation-Based Adaptive Exploitation–Exploration Tradeoff Framework (MOEE) ），该框架能够在搜索过程中自适应地在开发与探索之间切换 。与 De Ath 等人 [2021b] 类似，我们也主要选择最具开发性的解，因为这有助于搜索快速朝着高质量解的方向移动，并偶尔考虑探索，以避免陷入低质量的局部最优。然而，与他们的方法不同的是，我们是根据所找到的解所反映的当前搜索状态 来自适应地在开发与探索之间进行切换。

更重要的是，我们提出的框架是一个通用框架 ，适用于任何开发与探索项，而不像 De Ath 等人 [2021b] 的方法那样固定为后验均值和不确定性。总体而言，我们的 MOEE 方法与 De Ath 等人 [2021b] 的方法主要有以下三个重要区别：

— MOEE 仅在检测到搜索停滞时才考虑探索 ，而不是以一个较小的概率从开发切换到探索；这种更有指导性的搜索可以更快地找到高质量的解。
— MOEE 使用一种多准则决策分析技术——理想解相似度排序法（TOPSIS） [Hwang and Yoon, 1981]，从开发–探索帕累托前沿中选择一个权衡解来进行探索，而不是随机选择；这样可以避免选择一个位于不期望区域的解进行探索，例如过于接近当前最优解的解。
— 在 MOEE 中，开发与探索目标不仅限于后验均值和不确定性 ，而是任何能够反映开发与探索的指标。例如，EI 中的两个项就可以分别作为开发与探索的目标。我们在实验研究中验证了这一点（见第5.4节）。

此外值得一提的是，在本工作中我们关注的是顺序贝叶斯优化 （sequential BO），即一次处理一个解。而在批量贝叶斯优化（batch BO，即一次处理多个解）中，也有一些方法将采集函数进行多目标化 [Bischl et al., 2014；De Ath et al., 2020, 2021a；Feng et al., 2015；Grobler et al., 2017；Jiang and Li, 2025；Lyu et al., 2018]，这些方法会从当前帕累托最优解集中选择一组解并行评估。

本文其余部分的组织如下：
第2节介绍基本概念（贝叶斯优化、多目标化与 TOPSIS）。
第3节描述优化模型与方法。
第4节给出研究问题（Research Questions, RQs）与实验设置。
第5节展示实验结果与讨论。
最后，第6节对全文进行总结。

2 预备知识

在本节中，我们首先介绍贝叶斯优化（Bayesian Optimisation, BO） ，接着介绍本研究所采用的代理模型——高斯过程回归（Gaussian Process Regression） ，以及三个经典的采集函数。随后，我们介绍多目标化（multi-objectivisation） ，包括多目标优化（multi-objective optimisation） 和一种多准则决策分析技术 ——基于理想解相似度排序法（TOPSIS）[Hwang and Yoon, 1981]，该方法被用于我们提出的方法中。

2.1 贝叶斯优化（BO）

不失一般性，我们考虑一个最小化问题，其定义如下：

其中， ∈ X 表示决策空间中的变量；X ⊆ Rᵈ 表示一个紧致集合； 是一个黑盒函数。

贝叶斯优化（Bayesian Optimisation, BO）[Couckuyt et al., 2022；Santoni et al., 2024] 是一种用于黑盒函数全局优化的高效方法，最早由 Kushner [1964] 提出，并由 Jones 等人 [1998] 推广。算法1 给出了 BO 的一个流程。在初始化过程（步骤1–4）中， 个初始解可以是随机采样得到的，也可以通过特定的方法（例如拉丁超立方采样 Latin Hypercube Sampling (LHS) [Stein, 1987]）获得。随后，这些解通过一个昂贵的黑盒函数进行评估，从而构建初始数据集 D = {(ₜ, ₜ)}ₜ=₁ᴹ，其中 ₜ = (ₜ) + ₜ，噪声 ₜ ∼ N(0, ²)。

在优化过程（步骤5–11）中，使用该数据集训练一个回归模型。与大多数先前研究 [De Ath et al., 2021b；Snoek et al., 2012；Victoria and Maragatham, 2021] 一样，我们采用高斯过程回归（Gaussian Process Regression） ，它不仅能够给出迄今为止目标空间中可能的最优解，还能提供预测的不确定性。然后，通过优化一个采集函数来选择下一个待评估的解。之后，对该解进行评估并更新数据集 D。这一循环持续进行，直到满足终止条件为止。

由于代理模型和采集函数对于 BO 至关重要，我们在 2.1.1 节 和 2.1.2 节 中分别详细介绍高斯过程回归和三个经典的采集函数。

2.1.1 高斯过程回归

高斯过程回归（Gaussian Process Regression），也被称为克里金法（Kriging）¹ ，是一种广泛用于构建代理模型的回归器。高斯过程是一组随机变量的集合，其中任意有限数量的变量都服从联合高斯分布 [MacKay, 1998]。给定 个训练点 D = {(ₜ, ₜ)}ₜ=₁ᴹ，其中 ₜ = (ₜ) + ₜ，噪声 ₜ ∼ N(0, ²)，在新的位置 x 处的后验分布是一个高斯分布：

其中，() 和 ²() 分别表示在位置 处的均值和方差； ∈ ℝᴹ×ᵈ 和 y ∈ ℝᴹ 分别表示已评估解的矩阵和对应的输出值向量； 表示核函数的超参数；(, ) 表示 与 中每个元素之间的协方差向量； ∈ ℝᴹ×ᴹ 表示协方差矩阵；(, ) 表示 与自身之间的协方差。

由于 Matérn 5/2 核在实际应用中表现出良好的性能 [Alghamdi et al., 2020；Snoek et al., 2012]，本文将其用作协方差函数。

2.1.2 采集函数

在训练完高斯过程回归模型之后，通过优化一个采集函数（acquisition function） 来确定设计空间中下一个合适的待评估解。在本研究中，我们引入了三种经典的采集函数：改进概率（PI）[Kushner, 1964]、期望改进（EI）[Mockus et al., 1978] 和置信下界（LCB）[Lai and Robbins, 1985]。

最早的采集函数之一是 Kushner [1964] 提出的 PI（Probability of Improvement）：

其中，Φ 是标准正态分布的累积分布函数； = (∗ − ()) / ()；∗ 是当前观察到的最优 y 值。
PI 非常关注开发（exploitation） ，即倾向于选择目前所评估到的最优解附近的解，因为 PI 更偏好较大的均值 和较小的标准差 。这有时可能导致一些异常行为 [Brochu et al., 2010；De Ath et al., 2021b]，在实际应用中，它可能会陷入局部最优，并且对全局机会探索不足 [De Ath et al., 2021b]。

EI（Expected Improvement）是使用最广泛的采集函数之一，最早于1978年提出 [Mockus et al., 1978]，并在1998年得到了改进 [Jones et al., 1998]。在特定条件下，EI 的收敛性已被证明 [Bull, 2011]。给定当前观察到的最优 y 值 ∗，相对于 ∗ 的“改进”定义如下：

其中，Φ 和 分别表示标准正态分布的累积分布函数 和概率密度函数 。

Lai 和 Robbins [1985] 于 1985 年首次提出了 LCB（Lower Confidence Bound），该方法通过解的预测均值和不确定性来直接评估一个解：

其中，是一个权重系数，通常由当前迭代次数 决定。Srinivas 等人 [2009] 在合理假设条件下证明了该方法的收敛性。

2.2 多目标化

多目标化（Multi-objectivisation）是一种将单目标优化问题 转化为多目标优化问题 的方法，其目的是使搜索更容易跳出低质量的局部最优解 [Chen 和 Li, 2021；Lehre 和 Qin, 2022；Qin 和 Lehre, 2022]。该方法可以通过添加一个辅助目标（或多个辅助目标），或将原始目标分解为多个更小的子问题来实现 [Ma 等人, 2023]。

这样做的原因是：在求解原始目标时，搜索过程可能会在一个崎岖的适应度景观中陷入局部最优。而当考虑多个目标时，那些在当前原始目标上表现略差（与其他种群中的解相比）、但可以作为通往未开发高质量解的“垫脚石”的解，可能不会被其他解所支配，从而在搜索过程中得以保留 [Chen 和 Li, 2021；Knowles 等人, 2001；Ma 等人, 2023]。

2.2.1 多目标优化

多目标优化是指在存在多个目标的情况下寻找最优解的过程。一个多目标优化问题可以定义如下：

其中， 是目标的数量，ᵢ（ = 1, ..., ）是第 个目标函数。若对于所有 ∈ {1, ..., }，都有 ᵢ(₁) ≤ ᵢ(₂)，并且存在某个 ∈ {1, ..., }，使得 ⱼ(₁) < ⱼ(₂)，则称解 ₁ 支配（dominate）解 ₂，记作 ₁ ≺ ₂。如果一个解 ₁ ∈ X 不被任何其他解所支配，则称 ₁ 是帕累托最优（Pareto optimal）的。一个问题的所有帕累托最优解组成的集合称为帕累托集 （记作 P∗），其在目标空间中的映射称为帕累托前沿 （Pareto Front, PF）。

2.2.2 TOPSIS

与传统的多目标优化不同，在传统方法中需要先求出帕累托前沿的一个近似并将其呈现给决策者；而在多目标化中，一个重要的特点是：我们需要从帕累托前沿的近似中选择一个 解来实际执行（因为实际上只关心一个最终目标）。在本文中，我们采用了一种常用的多准则决策分析技术——理想解相似度排序法 （Technique for Order Preference by Similarity to Ideal Solution, TOPSIS ）[Hwang 和 Yoon, 1981]，用于在搜索过程中选择要执行的解 [Behzadian 等人, 2012]。

TOPSIS 的原理是基于解与理想点 和负理想点 在欧几里得空间中的距离来选择一个解，以实现多个目标之间的良好权衡。它已被广泛应用于多准则决策分析领域，最近也被用于在没有明确偏好信息的情况下进行多目标优化 [例如 Gu 等人, 2023]。

图1展示了五个解（按照算法2中步骤1和2进行归一化处理），记作 ₁ 到 ₅，以及两个目标函数 ₁ 和 ₂。随后确定了理想点 ⁺ 和负理想点 ⁻（步骤3）。其中，理想点 ⁺ 位于左下角，负理想点 ⁻ 位于右上角。接下来计算每个解到理想点和负理想点的欧几里得距离（步骤4）。例如，蓝色线和红色线分别表示某个解到理想点 ⁺ 和负理想点 ⁻ 的距离。最后，通过计算每个解的相对接近度 ᵢ，并找出最小的 ᵢ 值，来确定最优解（步骤5和6）。

3 贝叶斯优化中的采集函数多目标化

在优化过程中，平衡开发（exploitation）与探索（exploration）起着至关重要的作用。在贝叶斯优化（BO）中，采集函数通常包含明确反映开发与探索的项，这些项可以被视为两个需要同时考虑的目标 [De Ath et al., 2021b]。

由于 BO 所应用的优化场景通常预算有限，人们往往希望进行更多的开发，并偶尔切换到探索，以发现尚未开发但可能具有潜力的区域。因此，一个关键问题是时机 ，即何时从开发切换到探索 。在本研究中，我们提出基于当前搜索状态来自适应地触发这种切换。

在接下来的小节中，我们将首先介绍我们的双目标优化模型，然后描述何时触发切换以及应探索哪些区域，最后给出所提出算法的主要框架。

3.1 优化模型

在本研究中，我们希望保持优化模型的灵活性，即接受各种关于开发与探索的目标函数。形式上，该优化模型定义如下：

其中，x = (₁, ₂, ..., ₔ)ᵀ 是决策变量的向量； 是问题的维度；X 表示可行解集，即满足问题所有约束条件的所有可能解的集合。

上述开发（exploit）与探索（explore）目标可以以不同的方式进行具体化。一种直接的方式是将 LCB（公式(8)）中的两个项分别视为开发与探索的目标；也就是说，设 ₑₓₚₗₒᵢₜ() = ()，ₑₓₚₗₒᵣₑ() = −√ₜ ()。

为简化起见，我们将系数 ₜ 设为常数 1.0，因为在改变 √ₜ 时，帕累托最优解保持不变。因此，ₑₓₚₗₒᵣₑ() 变为 −()。

需要注意的是，只要能够很好地反映开发与探索，也可以考虑其他采集函数及其相关项来表示这两个目标。在我们的实验研究中，也将验证基于 EI 采集函数的模型（见第5.4节）。

3.2 何时从开发切换到探索

如前所述，由于预算有限，人们希望在搜索过程中进行更多开发，并偶尔切换到探索以发现尚未开发的区域。这种操作是基于当前的搜索状态 来进行的。具体来说，当发现新开发得到的解与上一次迭代中的最优解之间的**归一化质量差异较小（< 0.1⁴）**时，我们执行一次探索操作。

需要注意的是，这里的“探索”并不是一种完全的探索性操作，而是一种兼顾探索与开发的操作（即从帕累托前沿中选择一个权衡解）。完成这一次探索之后，我们将再次回到开发操作。

3.3 在哪里进行探索

在开发操作中，我们始终从开发目标和探索目标所形成的帕累托前沿中选择极端解 （即在开发目标上表现最好的解）用于评估。对于探索操作，人们可能会想到选择另一个极端解（即在探索目标上表现最好的解）。然而，这个具有最大不确定性相关值的极端解，其质量往往非常差，即预测均值很低（因为它是帕累托前沿所有解中最差的一个）。

因此，在进行探索时，我们也需要考虑具有较好预测均值的解。在这里，我们使用 TOPSIS [Hwang 和 Yoon, 1981] ——一种多准则决策分析技术——来从一组非支配解中选择一个要部署的解，尤其是在没有明确偏好信息的情况下。TOPSIS 利用理想点和负理想点来衡量每个解在非支配集合中的相对质量，从而能够在多个目标之间找到良好的权衡解。

3.4 算法框架

算法3 给出了我们提出的 MOEE 框架的主要流程。如图所示，输入包括：

如算法3所示，在优化过程中，我们使用一个多目标进化算法 同时优化 ₑₓₚₗₒᵢₜ() 和 ₑₓₚₗₒᵣₑ()，以寻找非支配解集 P，从而从中选择一个解用于评估（步骤1）。

正如第3.2节和第3.3节所述，我们在非支配解集中选择最极端的开发解进行开发操作，直到检测到搜索停滞（步骤2和3）。这里的“停滞”通过判断新开发解与上一次迭代最优解之间的归一化质量差异是否为小值 来确定，即：

如果满足上述条件，则执行一次探索操作，即使用 TOPSIS 从非支配解集中选择一个探索解（步骤4和5）。完成此次探索后，我们再次切换回开发操作，并重复这一过程，直到预算耗尽（步骤1–6）。

为了更好地理解所提出的框架，图2展示了 MOEE 在求解一个一维问题 WangFreitas（具有欺骗性的局部最优和狭窄的全局最优）时，从第 次迭代到第 +7 次迭代期间如何在开发与探索之间切换。

图中的每个子图都包含顶部子图和底部子图，分别显示了以下内容：

• 高斯过程近似出的目标函数（蓝色虚线，顶部）；

• 均值 ()（深绿色线，顶部）；

• 两倍后验标准差 2()（浅绿色区域，顶部）；

• 开发目标 ₑₓₚₗₒᵢₜ 和探索目标 ₑₓₚₗₒᵣₑ 所构成的帕累托前沿（浅蓝色，顶部和底部）；

• 已评估的解（蓝点，顶部）；

• 新评估的解（红点，顶部）；

• 截至上一次迭代为止的最优解（黄点，顶部）；

• 最具开发性的解（绿点，顶部和底部）；

• 被 TOPSIS 选中的解（紫色点，顶部和底部）。

在每一次迭代中，根据当前的搜索状态，要么选择最具开发性的解，要么选择由 TOPSIS 选出的解进行评估。

在图2的图(a)和图(b)中，MOEE 从非支配解集中选择最极端的开发性解进行评估，因为新评估解与上一次迭代最优解之间的质量差异还不够小，如算法3中的步骤2和步骤3所示。

在图(c)中，由于新评估解与上一次最优解之间的质量差异被认为是很小，MOEE 激活了探索切换机制，并使用 TOPSIS 选择一个解进行评估，如算法中的步骤4和步骤5所示。

完成这次探索之后，在图(d)中，MOEE 再次切换回开发模式，继续选择最极端的开发性解进行评估，如算法步骤2和3所示。

随后，在图(e)至图(h)中，MOEE 根据算法步骤1–6，自适应地在开发与探索之间进行切换。值得注意的是，在图(h)中，MOEE 成功通过使用 TOPSIS 所选出的解跳出了局部最优。

另一方面，从图2(a)至图2(g)可以看出，-greedy 方法（即 -RS 和 -PF [De Ath et al., 2021b]）很难摆脱局部最优。在进行探索时，-RS 和 -PF 分别从目标空间和非支配解集中随机选择一个解 。对于前者来说，由于全局最优位于一个非常狭窄的“漏斗”中，因此它采样到靠近全局最优解的概率非常低；同样地，后者也很难采样到靠近全局最优的解，因为在该最优附近只有很少的非支配解存在。

4 实验设置

在本节中，我们首先介绍几个研究问题（RQs），通过回答这些问题来验证我们所提出的方法。随后，我们将详细介绍实验的设置。

4.1 研究问题（RQs）

由于我们是在 De Ath 等人 [2021b] 的工作基础上进行改进的，因此一个直接的验证方式是将我们的方法与他们提出的算法（即 -RS 和 -PF）进行比较。同时，我们也希望将经典算法（例如第2.1.2节中介绍的算法）以及当前最先进的不同类型的算法纳入比较范围。

其中，我们选取了五种基于改进的算法（即：PI [Kushner, 1964]、EI [Lai and Robbins, 1985]、SAWEI [Benjamins et al., 2023]、MGFI [Wang et al., 2017] 和 KG [Balandat et al., 2020；Frazier et al., 2008]），三种基于多目标优化的算法（即：-RS [De Ath et al., 2021b]、-PF [De Ath et al., 2021b] 和 MACE [Lyu et al., 2018]），一种乐观策略算法（即：LCB [Mockus et al., 1978]），以及一种基于信息的算法（即：JES [Hvarfner et al., 2022]）。

由此，我们提出第一个研究问题：

— RQ1 ：MOEE 相比经典算法和当前最先进的算法表现如何？

如果上述实验表明我们的算法有效，那么接下来我们需要了解算法中的每一个组成部分是否对整体性能有所贡献，如果有，哪一个影响最大。由此引出第二个研究问题：

— RQ2 ：所提出算法的各个组成部分对整体性能有何贡献？

我们的消融实验考虑了四种算法变体：MOEEₚꜰ、MOEEₑₓₚₗₒᵢₜ、MOEEₑ_ᴘꜰ 和 MOEEₛᵢₜ。

• MOEEₚꜰ ：从开发–探索帕累托前沿中随机选择一个解。
• MOEEₑₓₚₗₒᵢₜ ：纯粹的开发策略，即始终选择帕累托前沿中开发目标最优的极端解。
• MOEEₑ_ᴘꜰ ：大部分时间选择开发极端解，但在检测到搜索停滞时，不是使用 TOPSIS 选择探索解，而是从帕累托前沿中随机选择一个探索解。注意，MOEEₑ_ᴘꜰ 中的“e”是 exploitation 的缩写，它与 MOEE 的唯一区别在于算法3中的步骤5。
• MOEEₛᵢₜ ：在帕累托前沿的极端开发解与由 TOPSIS 选出的解之间随机切换，而不考虑搜索是否停滞。

如果所提出算法的每个组件都能按预期发挥作用，那么人们可能会关注 MOEE 中使用的超参数对性能的影响。因此，我们提出第三个研究问题：

— RQ3 ：所提出算法中的超参数如何影响整体性能？

我们主要对 TOPSIS 中使用的权重组合进行了敏感性分析。在所提出的 MOEE 中，TOPSIS 使用的是固定的权重组合。我们可以进一步探讨：哪种权重组合总体上效果最好？为此，我们考虑了五种不同的权重组合来评估它们对整体性能的影响。这些组合如下：

• (0.2, 0.8)

• (0.4, 0.6) —— 这也是 MOEE 中实际使用的组合

• (0.5, 0.5)

• (0.6, 0.4)

• (0.8, 0.2)

这些组合从左到右依次更偏向于开发，系统地覆盖了从以探索为主到以开发为主的整个谱系。

我们最后要研究的问题是：所提出的多目标化模型是否适用于其他采集函数？在之前的实验中，我们使用的是 LCB 采集函数，其包含两个明确的开发项（均值）和探索项（不确定性）。我们希望了解这种框架是否也能适用于同样能反映这两个方面的其他采集函数，如 EI。

— RQ4 ：所提出的多目标化框架是否适用于其他采集函数？

在本次实验中，我们考虑使用 EI（公式(7)）。EI 中的第一项强调开发，第二项强调探索。因此，在所提出的框架中，我们将目标函数设为：

• ₑₓₚₗₒᵢₜ() = (∗ − ())Φ()

• ₑₓₚₗₒᵣₑ() = ()()

类似于基于 LCB 的 MOEE，我们将基于 EI 的 MOEE（记作 MOEEᴇɪ）与 RQ1 中涉及的所有采集函数进行对比。

4.2 实验设置

我们考虑了 16 个合成测试问题实例和 3 个实际问题实例，它们涵盖了不同规模和维度的领域，具体细节在表 1 中给出。对于支持向量机（SVM）超参数调整问题 [Klein 等人，2017；Wainer 和 Fonseca，2021]，任务是在著名的威斯康星诊断性乳腺癌（WDBC）数据集 [Agarap，2018；Cai 和 Xue，2024；Street 等人，1993] 上优化 SVM 的两个关键超参数，即正则化参数 C 和核参数 γ。机器人推动物体问题 [Wang 和 Jegelka，2017]，例如 Push4 和 Push8，用于模拟机器人在物理环境中的行为和交互。例如，在 Push4 中，机器人手（矩形）的任务是将一个物体（圆形）推向一个未知的目标位置（交叉），以最小化物体最终位置与目标之间的距离 [De Ath 等人，2021b]。为了便于比较，所有测试问题都被表述为最小化问题。

在 RQ1 的实验中，我们将 MOEE 与第 2.1.2 节中描述的三种经典采集函数进行比较，即 PI [Kushner，1964]、EI [Mockus 等人，1978] 和 LCB [Lai 和 Robbins，1985]，以及七种最先进的采集函数，即 ϵ-RS [De Ath 等人，2021b]、ϵ-PF [De Ath 等人，2021b]、SAWEI [Benjamins 等人，2023]、MGFI [Wang 等人，2017]、KG [Balandat 等人，2020；Frazier 等人，2008]、JES [Hvarfner 等人，2022] 和 MACE [Lyu 等人，2018]。按照 De Ath 等人 [2021b] 的做法，我们考虑使用 NSGA-II 来优化 MOEE、ϵ-RS、ϵ-PF 和 MACE。由于 L-BFGS-B 是优化采集函数时最常用的优化器 [Balandat 等人，2020；De Ath 等人，2021b；Pawar 和 Warbhe，2021；Zhu 等人，1997]，我们考虑使用 L-BFGS-B 来优化 PI、EI、LCB、SAWEI、MGFI、KG 和 JES。对于 RQ2，我们进行了消融实验，以评估所提出的自适应利用-探索权衡框架中每个组件的有效性，其中比较了 MOEE 的四种变体，即 MOEE、MOEE、MOEE_ 和 MOEEℎ。对于 RQ3，我们对权重组合进行了敏感性分析。特别是，研究了五种权重组合，即 (0.2, 0.8)、(0.4, 0.6)（在 MOEE 中使用）、(0.5, 0.5)、(0.6, 0.4) 和 (0.8, 0.2)，其中左边表示利用权重，右边表示探索权重。对于 RQ4，MOEE 也与经典和最先进的采集函数进行了比较，即默认 MOEE、PI、EI、LCB、ϵ-RS、ϵ-PF、SAWEI、MGFI、KG、JES 和 MACE。

5 实验结果 5.1 RQ1：MOEE 相比经典算法和当前最先进的算法表现如何？

为了回答这个问题，我们将 MOEE 与另外 10 种算法在 19 个测试问题实例 上进行了比较，这些问题的维度从 1 到 20 不等。实验结果展示在表2–4 和图3–6 中。

表2 给出了除 SVM 超参数调优问题外的前 18 个测试问题实例所获得的遗憾值（regrets）的中位数（median）和平均绝对偏差（MAD），表3 总结了 MOEE 与其他算法之间的对比结果。

如表2 所示，MOEE 在整体性能上优于 PI、EI、LCB、-RS、-PF、SAWEI、MGFI、KG、JES 和 MACE。

具体来说：

• 对于一维问题 WangFreitas，MOEE 表现出极强的能力找到全局最优解。

• 相比之下，PI、EI、LCB、-PF、SAWEI、MGFI、JES 和 MACE 容易陷入局部最优，因为 WangFreitas 的全局最优位于一个非常狭窄的区域。

• -RS 和 KG 的表现相对更好一些，因为它们有一定的跳出陷阱区域的机会。

对于低维优化问题（例如 2D 和 6D）：

• MOEE 在 GoldsteinPrice、Ackley (2D) 和 Griewank (2D) 问题上取得了统计上相当或最低的中位遗憾值。

• MACE 在 Brainin、Cosines、SixHumpCamel 和 Hartmann6 等问题上表现最佳，表明 MACE 擅长处理低维问题。

对于 10D 问题：

• MOEE 在 Ellipsoidal 和 Ackley (10D) 上取得了最佳中位遗憾值；

• 在 Schwefel 和 Ackley (10D) 上的表现与最好的方法 -RS 统计上相当。

对于两个 20D 问题：

• 我们的方法显著优于其他方法。

对于实际问题（Push4 和 Push8）：

• MOEE 在 Push4 上取得了最佳中位遗憾值；

• 在 Push8 上与表现最好的采集函数 PI 统计上相当。

总结来看，在 18 个问题实例中，我们提出的方法相比 PI、EI、LCB、-RS、-PF、SAWEI、MGFI、KG、JES 和 MACE 分别在 1/6/11、2/5/11、3/2/13、1/10/7、0/12/6、2/4/12、0/3/15、1/5/12、0/6/12 和 5/3/10 的问题上表现更差 / 相当 / 更好（见表3）。

图3 展示了所有 11 种算法的收敛轨迹。图中显示，MOEE 在 WangFreitas、Ackley (2D)、Ellipsoidal、Ackley (10D)、Ackley (20D)、Griewank (20D) 和 Push4 等问题上表现更优。

值得注意的是，MOEE 在 WangFreitas 测试问题上的表现明显优于其他算法。

在 GoldsteinPrice、Ackley (20D) 和 Griewank (20D) 上，MOEE 在早期优化阶段并不是表现最好，但最终能够达到最佳效果。

对于高维问题（10D 和 20D），所有算法都无法在 250 次评估中找到真正的最优解，但在大多数问题中，MOEE 仍优于其他方法。

特别是，MOEE 在大多数测试问题中优于 SAWEI 和 MGFI。可能的解释是：

• SAWEI 优先进行全局搜索，之后再进行局部搜索；但在预算有限的情况下，这种先全局后局部的策略并不理想。

• MGFI（当 = 2 时）倾向于选择不确定性较低的解（类似于采集函数 PI），这限制了它的探索能力，导致其偏好那些接近当前最优解的解。

图4 显示了在前 18 个测试问题实例上经过 250 次函数评估后，我们提出的 MOEE 算法与其余 10 种算法所观察到的最佳 y 值的分布情况。

关于中位数和四分位距，MOEE 在 WangFreitas、GoldsteinPrice、Ellipsoidal、Schwefel、Ackley（10D）、Ackley（20D）和 Griewank（20D）问题上显著优于其他方法。MOEE 在大约 18 个测试问题实例中的 12、12 和 10 个实例上分别比 KG、JES 和 MACE 获得了更好的中位遗憾值结果。KG 性能不佳的一个可能解释是它专注于最大化未来决策的预期增量价值。这种关注有时会导致 KG 过度依赖基于有限数据看起来有希望的区域，而可能忽略了其他可能提供更好整体解决方案的区域。

至于 JES，其原因可能在于它强调减少熵，这可能会优先选择不确定性高的区域。然而，在预算有限的情况下，优先进行全局搜索而不是局部搜索并不是一个好的策略。对于 MACE 来说，它从 PI、EI 和 LCB 的帕累托前沿中随机选择一个解，这在解决高维问题时，例如那些具有高不确定性但解质量较低的问题时，可能导致搜索导向不太有利的区域。

表 4 给出了所获得的准确率（即决定系数 R² [Nagelkerke 等, 1991]）的结果（中位数和 MAD）。如表 4 所示，MOEE、EI、LCB、-PF、-RS、SAWEI、MGFI 和 MACE 可以达到最高的中位准确率，R² 值为 0.974。相比之下，PI、KG 和 JES 表现明显较差，R² 值仅为 0.632，表明这三个算法陷入了局部最优。

图 5 显示了 MOEE 和另外 10 种对等算法在 SVM 超参数调优问题上的收敛轨迹。对于训练数据的结果（左图），所提出的 MOEE 能够快速识别高质量解，其次是 -PF。此外，在 50 次函数评估后，除 PI、KG 和 JES 外，所有方法都能获得高质量解，达到 R² 值为 0.974 的准确率。对于测试数据的结果（右图），同样地，在 50 次函数评估后，MOEE、EI、LCB、-PF、-RS、SAWEI、MGFI 和 MACE 都获得了高质量解。然而，PI、KG 和 JES 最终未能在整个评估过程中找到高质量解。

图 6 展示了在进行了 250 次函数评估后，MOEE 和另外 10 种对等算法在 SVM 超参数调优问题上准确率值的分布情况。对于训练数据的结果（左图），除 PI、KG 和 JES 外，所有方法都获得了高质量解。然而，SAWEI 和 MGFI 相较于其他对等算法表现出较低的稳定性。对于测试数据的结果（右图），尽管 EI、SAWEI 和 MGFI 能够识别出高质量解，但它们的表现不稳定，反映出缺乏稳定性。此外，虽然 PI、KG 和 JES 通常无法找到高质量解，但 KG 和 JES 表现出相对 PI 更好的稳定性，如离散点所示，表明 KG 和 JES 有时能够取得较好的解。

5.2 RQ2：所提算法中每个组件对整体性能有何贡献？

为了回答RQ2，我们通过将MOEE与其四个变体进行比较来进行消融实验，这四个变体分别是：MOEE、MOEE、MOEE_ 和 MOEEℎ。结果如表5和表6以及图7和图8所示。

表5给出了所获得的遗憾值（regret）的中位数和MAD（中位数绝对偏差），MOEE与其各变体之间的对比结果总结在表6中。从表5和表6可以看出，从利用-探索帕累托前沿中随机选择解的方法（MOEE）表现较差，因为MOEE在18个问题实例中，在统计意义上优于/等同于/劣于MOEE的情况分别为0/7/11次。纯利用方法（MOEE）的遗憾值略优于MOEE，这表明在贝叶斯优化中，一定程度上的利用是必要的。正如之前所述，MOEE_ 与MOEE之间的唯一区别是在搜索停滞时如何选择一个探索解。这表明从帕累托前沿中随机选择可能不是一个好的策略，因为我们可以看到MOEE_ 在统计意义上优于/等同于/劣于MOEE的情况分别为2/10/6次。MOEEℎ是一种在极端利用解和TOPSIS解之间随机切换的方法，其表现比MOEE差，尤其是在高维问题中，例如Ellipsoidal、Schwefel、Griewank（10D）、Ackley（20D）和Griewank（20D）。

图7展示了MOEE及其四个变体的收敛轨迹。从图7可以看出，MOEE在Branin、GoldsteinPrice、Ackley（2D）、SixHumpCaml、GSobol、Ellipsoidal、Schwefel、Ackley（10D）、Ackley（20D）、Griewank（20D）和Push4等问题上表现最佳。MOEE在Griewank（10D）上表现最好，但在WangFreitas、GoldsteinPrice和Cosines问题上表现不佳。这表明在贝叶斯优化中，在搜索过程中加强利用是有益的，这也与我们的方法倾向于将更多资源用于利用是一致的；但纯利用搜索容易陷入局部最优。此外，MOEE优于MOEE_ 和MOEEℎ，这说明“在哪里进行探索”和“何时从利用转向探索”是非常重要的。

综上所述，所提出的权衡框架中的每一个组件在解的质量方面都起到了关键作用。总体而言，纯利用（MOEE）和从利用-探索帕累托前沿中随机选择解（MOEE）并不是明智的选择。此外，当搜索停滞时，TOPSIS能够选择一个合适的探索解以取得进展，而从帕累托前沿中随机选择解（MOEE_）则效果不佳。MOEEℎ是一种在忽略搜索状态的情况下随机在利用与探索之间切换的方法，不适用于高维问题。

5.3 RQ3：所提算法的超参数如何影响整体性能？

为了回答这个问题，我们对权重组合进行了敏感性分析。具体来说，我们研究了五种不同的权重组合：(0.2, 0.8)、(0.4, 0.6)（即MOEE中使用的权重）、(0.5, 0.5)、(0.6, 0.4) 和 (0.8, 0.2)，其中左边表示利用权重，右边表示探索权重。结果如表7和表8以及图9和图10所示。

表7给出了所获得的遗憾值（regret）的中位数和MAD（中位数绝对偏差），MOEE与其各变体之间的对比结果总结在表8中。从表7可以看出，不出所料，MOEE64和MOEE82在WangFreitas问题上容易陷入局部最优。特别是采用等权重的MOEE55也无法找到真实最优解。相比之下，MOEE（即MOEE46）和MOEE28能够在WangFreitas问题上找到真实最优解。这表明，在进行探索时，在TOPSIS中优先考虑探索而非利用是必要的。特别地，MOEE28在Branin、GoldsteinPrice、SixHumpCamel、Hartmann6、Attractive Sector、Ellipsoidal和Griewank（20D）等问题上的表现劣于MOEE，这表明过度探索可能并非最佳选择。

综上所述，与MOEE28、MOEE55、MOEE64和MOEE82相比，所提出的MOEE在前18个问题实例中分别在0/11/7、1/12/5、2/10/6和2/10/6的情况下表现更差/相当/更好（见表7）。

图9展示了所有五种算法的收敛轨迹。图中显示，所提出的MOEE总体表现更优，特别是在SixHumpCamel、Attractive Sector、Schwefel、Ackley（20D）、Griewank（20D）和Push4等问题上。特别地，MOEE82、MOEE64和MOEE55在WangFreitas问题上陷入了局部最优，这表明这三种权重组合缺乏鲁棒性。虽然MOEE28可以在WangFreitas问题上找到全局最优解，但它在许多其他问题上表现较差，例如Branin、GoldsteinPrice、Ackley（2D）、SixHumpCamel、Ellipsoidal和Push4。

图10展示了在前18个测试问题实例上，经过250次函数评估后，所提出的算法MOEE及其4个对比算法所观察到的最佳y值的分布情况。从中位数和四分位距来看，MOEE在GoldsteinPrice、SixHumpCamel、Attractive Sector、Ellipsoidal、Schwefel、Ackley（20D）、Griewank（20D）和Push4等问题上的表现明显优于其他方法。鉴于MOEE能够有效处理不同维度的问题，因此将利用权重设为0.4、探索权重设为0.6是一个平衡良好的选择。

5.4 RQ4：所提出的多目标化框架是否适用于其他采集函数？

为了回答RQ4，我们像默认的MOEE一样，将基于EI的MOEE（即MOEE）与RQ1中比较的所有经典和最先进的采集函数进行对比。

表9展示了MOEE 和11种对比算法在WDBC数据集上的SVM超参数调优问题中的表现结果，包括决定系数（R²）[Nagelkerke等，1991]所衡量的准确率的中位数和MAD（中位数绝对偏差）。如表所示，MOEE、默认MOEE、EI、LCB、-PF、SAWEI和MACE均达到了最高的中位数准确率，R²值为0.974。相比之下，PI、KG和JES的表现较差，R²值仅为0.632，这表明这些方法可能陷入了局部最优。

图11展示了所有算法的收敛轨迹。相比其他算法，MOEE 能够在GoldsteinPrice、Ackley（2D）、Griewank（2D）、Ackley（10D）、Griewank（10D）、Ackley（20D）、Griewank（20D）和Push8等测试问题上快速收敛到全局最优附近的区域；并且在Ackley（10D）和Griewank（20D）等问题上从开始到结束始终表现出更优的结果。然而，在局部最优解较少的问题上（例如GSobol），MOEE 的表现不如其他方法，因为它消耗了额外的计算资源用于探索。

图12展示了在前18个测试问题实例上，经过250次函数评估后，所有算法所观察到的最佳y值的分布情况。从中位数和四分位距来看，MOEE 在Branin、Ackley（2D）、Ackley（10D）、Ackley（20D）和Griewank（20D）等问题上的表现显著优于其他方法。

表10给出了所获得的遗憾值（regret）的中位数和MAD，表11总结了MOEE与其对比算法之间的性能比较结果。从表10和表11可以看出，MOEE 在Ackley（10D）、Ackley（20D）和Push8等测试问题上取得了最低的中位数遗憾值，并且在Branin、GoldsteinPrice、Ackley（2D）、Griewank（2D）、Gsobol、Schwefel和Push4等问题上，其表现与具有最佳中位数遗憾值的方法在统计上相当。

尽管LCB在Gsobol测试问题上的优化结果最好，但LCB 容易陷入局部最优，因为在GoldsteinPrice、Ackley和Griewank等问题上表现较差。此外，MOEE 与默认的MOEE表现相似。它在Ackley（2D）问题上优于默认MOEE，但在WangFreitas、Schwefel和Griewank（10D）等问题上表现较差；而在其余14个问题实例中，未观察到统计上的显著差异。

6 结论

在贝叶斯优化（BO）中，平衡探索与利用是一个重要的问题。传统方法中，探索与利用通常体现在采集函数中，并被聚合为一个目标进行优化。在本文中，我们将探索与利用视为两个独立的目标，并使用进化算法对它们进行联合优化。具体而言，我们设计了一种采样方法，根据优化过程中的反馈信息，自适应地从探索与利用目标的帕累托前沿上采样解。

我们通过与多种采集函数进行对比实验验证了所提方法的有效性，其中既包括使用进化算法求解的方法，也包括使用基于梯度的算法求解的方法。消融分析表明了MOEE中每个组件的重要性，而敏感性分析则推荐了一组在MOEE中表现良好的超参数配置。此外，通过对探索与利用目标的不同实例化设置，展示了所提多目标化框架的通用性。

未来的研究方向之一是构建新的探索与利用目标函数，而不仅仅依赖于单一采集函数中的项。例如，可以将PI作为利用目标，将LCB中的不确定性()作为探索目标。另一个潜在的研究方向是将本文提出的思想引入到批量贝叶斯优化（batch BO）中，在该场景下需要同时选择并评估多个解。在此方面，如何有效利用探索与利用目标的帕累托前沿将是关键问题之一，正如De Ath等人 [2021b] 所指出和实践的那样。此外，我们也计划将所提出的算法应用于更多基准测试问题和实际问题中，例如Nevergrad [Rapin and Teytaud, 2018]、IOH Profiler [Doerr et al., 2018; Wang et al., 2022] 和CFD [Daniels et al., 2018] 等平台或领域。

https://dl.acm.org/doi/pdf/10.1145/3716504