贝叶斯优化预期改进

贝叶斯优化预期改进

Unexpected Improvements to Expected Improvement for Bayesian Optimization

https://arxiv.org/pdf/2310.20708

摘要

预期改进（Expected Improvement，EI）可以说是贝叶斯优化中最受欢迎的采集函数，已获得无数成功的应用。然而，其性能常常被一些更新的方法所超越。值得注意的是，EI及其变体（包括并行和多目标场景下的版本）在数值上难以优化，因为在许多区域其采集值会数值上趋近于零。这种困难通常随着观测数量的增加、搜索空间维度的提高或约束数量的增多而加剧，导致其在文献中的表现不一致，且大多数情况下性能次优。本文中，我们提出了LogEI，这是一种新的采集函数家族，其成员与其经典对应版本具有完全相同或近似相等的最优解，但在数值优化上要容易得多。我们展示了数值病态问题在“经典”解析EI、预期超体积改进（EHVI）以及它们的带约束、含噪声和并行变体中均存在，并提出了相应的重构形式以消除这些病态。我们的实验结果表明，LogEI系列采集函数显著提升了其经典对应版本的优化性能，令人惊讶的是，其表现与或优于当前最先进的采集函数，突显了数值优化在相关文献中被低估的重要作用。

1 引言

贝叶斯优化（Bayesian Optimization, BO）是一种广泛使用且高效的样本优化方法，用于优化难以评估的黑箱函数[26, 30]，其应用范围涵盖航空航天工程[50]、生物学与医学[51]、材料科学[3]、土木工程[4]以及机器学习超参数优化[68, 74]。BO结合概率代理模型和采集函数，决定在何处查询目标函数。基于改进的采集函数，如预期改进（EI）和改进概率（PI），是最早且最广泛用于非凸函数高效全局优化的采集函数之一[44, 60]。EI已被扩展至带约束[29, 31]、含噪声[54]、多目标[20]场景，以及相应的批量（batch）变体[6, 13, 79]，并在BO文献中成为标准基线[26, 68]。尽管大量研究集中在开发新的复杂采集函数上，但基础BO方法中一些细微却关键的实现细节常常被忽视。重要的是，即使在数学形式完全相同的情况下，EI及其变体的表现也不一致；正如我们在本文中所展示的，其性能大多并非最优。

尽管有效优化EI的问题已在多项研究中被讨论过，例如[26, 33, 79]，但先前的研究重点主要集中在优化算法和初始化策略上，而非计算EI本身的根本性问题。

在本研究中，我们识别出基于改进的采集函数在计算过程中存在的数值病态问题，这些问题导致采集函数值及其梯度在数值上趋近于零。据我们所知，这些问题存在于目前所有EI的实现中。我们提出了相应的重构方法，显著提升了相关优化性能，其表现通常达到甚至超过近期先进方法的水平。

贡献

1. 我们提出了LogEI，这是一种新的采集函数家族，其成员与其经典对应版本具有完全相同或近似相等的最优解，但在数值优化上要容易得多。特别地，LogEI的解析变体在数学上与EI产生完全相同的贝叶斯优化策略，但在实验中表现出显著更优的优化性能。

1. 我们将解析LogEI背后的思想扩展到EI家族的其他成员，包括带约束EI（CEI）、预期超体积改进（EHVI），以及它们各自的批量变体（用于并行贝叶斯优化的qEI和qEHVI），通过采集效用的平滑近似来获得非趋零的梯度。我们提出的所有方法均已作为BoTorch[6]的一部分公开提供。

2. 我们证明了新提出的采集函数在广泛的基准测试中均显著优于其对应的传统版本，且未带来明显的额外计算开销，并且其性能通常达到甚至超过近期先进方法的表现。

动机

最大化贝叶斯优化中的采集函数是一个具有挑战性的问题，通常是非凸的，并且常常包含大量局部极大值，如图1右下角所示。尽管有时会使用零阶方法，但在连续域上（尤其是在高维情况下），基于梯度的方法在优化采集函数时通常要有效得多。

除了所有采集函数共有的非凸性带来的挑战外，基于改进的采集函数在定义域的大部分区域中，其函数值和梯度通常极其微小。尽管在高斯后验分布下，EI在数学上永远不会严格为零¹，但它在数值上经常趋近于零，甚至在浮点精度下变为精确的零。其梯度同样如此，这使得通过基于梯度的方法优化EI（以及PI，参见附录A）变得异常困难。图1的右侧面板在一个简单的一维二次函数上展示了这种现象。

为了提高找到非凸函数全局最优解的概率，通常会从多个起始点进行基于梯度的优化，这有助于避免陷入局部最优[72]。然而，对于基于改进的采集函数而言，随着收集的数据越来越多，超越当前最优解的可能性逐渐降低，优化难度也随之增加（参见第3节的理论结果以及图1和附录D.2中的实证说明）。因此，当起始点处的梯度在数值上为零时，基于梯度的多起点优化最终将退化为随机搜索。这一问题在高维空间或目标函数取值范围较大的情况下尤为严重。

为应对这一现象，已有多种初始化启发式方法被提出，通过改进随机重启策略来缓解问题。一种替代的简单做法是，不从随机候选点开始，而是将初始点设在之前观测到的最优输入附近。然而，仅这样做本质上会将采集函数的优化限制为一种局部搜索，无法提供全局收敛的保证。要实现这种保证，必须采用渐近空间填充（asymptotically space-filling）的启发式策略；即使不是完全随机的，这也意味着需要在没有先前观测的区域评估采集函数。理想情况下，这些区域应允许对目标函数进行基于梯度的优化，以实现高效的采集函数优化，这就要求梯度不能为零。在本文中，我们证明了对于大量基于改进的采集函数，这一目标是可以实现的，并通过实验展示了这如何显著提升贝叶斯优化的整体性能。

2 背景

2.3 优化采集函数

优化采集函数（AF）是一项具有挑战性的任务，相当于解决一个非凸优化问题，对此已应用了多种方法和启发式。这些包括无梯度方法，如分割矩形[43]，进化方法如 CMA-ES [34]，一阶方法如随机梯度上升，参见例如 Daulton 等人[15]、Wang 等人[77]，以及（准）二阶方法[26]，如 L-BFGS-B [10]。多起点优化通常与基于梯度的方法结合使用，以减轻陷入局部最小值的风险。优化的初始点通过不同复杂度的各种启发式方法选择，从简单的均匀随机选择到 BoTorch 的初始化启发式，该方法根据其采集函数值对一组随机点进行 Boltzmann 采样[6]。有关初始化策略和优化程序的更完整说明，请参见附录 B。我们专注于基于梯度的优化，因为通常利用梯度可以带来更快和更高效的优化[13]。

2.4 Related Work 相关工作

尽管已有大量研究工作提出了种类繁多的采集函数（AFs），但对于如何有效实现和优化这些采集函数，关注却少得多。Zhan 和 Xing [83] 对 EI 家族的大量不同变体进行了全面综述，但并未讨论任何数值或优化方面的挑战。Zhao 等人 [84] 提出结合多种不同的初始化策略，为采集函数的优化选择初始条件，并通过实验表明这能提升优化性能。然而，他们并未涉及采集函数本身可能存在的问题或退化现象。

近期的一些研究考虑了用于采集函数优化的有效基于梯度的方法。Wilson 等人 [79] 展示了如何利用随机一阶方法来优化蒙特卡洛（Monte Carlo）采集函数。Balandat 等人 [6] 在此基础上进一步提出了蒙特卡洛采集函数的样本平均近似方法，使其能够使用确定性的高阶优化器（如 L-BFGS-B）进行基于梯度的优化。

另一类研究则提出根据某种停止准则，从贝叶斯优化切换到局部优化，以实现更快的局部收敛，所用方法包括零阶[62]或基于梯度的[59]优化。尽管 McLeod 等人 [59] 也关注数值问题，但我们强调，他们所讨论的问题源于协方差矩阵的病态条件，与基于改进的采集函数的数值病态问题是正交的（即本质不同）。

3 期望改进消失梯度的理论分析

4 意外改进

在本节中，我们提出了解析和基于蒙特卡洛（MC）的改进型采集函数的重新表述，这使得它们更容易优化。我们将使用不同的字体，例如 log 和 1log，以区分数学函数及其数值实现。

4.1 解析 LogEI

4.2 蒙特卡洛并行对数EI

在附录D.10中，我们展示了将温度设置得足够低对于qLogEI实现良好的优化特性的重要性，而只有将所有相关计算转换到对数空间才能实现这一点。否则，采集效用的平滑近似在数值上会出现梯度消失问题，正如离散最大值算子在数学上所表现出的那样。

4.3 约束EI

4.4 蒙特卡洛并行LogEHVI

方程(6)中qEHVI的数值困难与qEI相似，平滑和对数变换的基本成分仍然适用，但由于qEHVI使用了许多对某些输入具有数学零梯度的操作，细节明显更复杂。我们的实现基于超体积改进[13]的可微分包含-排除公式。作为副产品，该实现还允许对期望的对数超体积进行可微分计算，而不是对数期望超体积，注意顺序，这在某些多目标优化应用中可能是可取的[28]。

5 实验结果

我们比较了解析EI（EI）和约束EI（CED）、蒙特卡洛并行EI（qEI）以及蒙特卡洛并行EHVI（qEHVI）的标准版本，以及其他最先进的基线，如下界最大值熵搜索（GIBBON）[63] 和单目标与多目标联合熵搜索（JES）[38, 73]。所有实验均使用BoTorch [6] 实现，并利用scipy的L-BFGS-B优化器进行AF的多起点优化。为了避免将BoTorch的默认初始化策略与我们的贡献混淆，我们使用16个初始点，这些点从随机选择的均匀分布中选取，以启动L-BFGS-B优化。有关与其他初始化策略的比较，请参见附录D。我们运行多次重复实验，并报告平均值和平均值的±2个标准误差。附录D包含更多细节。

在图3中，我们比较了LogEI在Ackley和Michalewicz测试函数上的性能[69]。值得注意的是，随着维度的增加，LogEI在Ackley函数上的表现显著优于EI。Ackley是一个具有挑战性的多模态函数，需要在局部开发与全局探索之间进行有效权衡；然而，由于EI在搜索空间的大部分区域内存在数值梯度消失问题，这一权衡任务变得极为困难。在Michalewicz函数上，我们观察到了类似但程度较轻的现象，这反映出Michalewicz问题的难度相对低于Ackley。

带黑箱约束的贝叶斯优化 图4展示了在四个带有黑箱约束的工程设计问题上的结果，这些问题在文献[22]中也被研究过。我们对所有约束应用了与基于信任域的SCBO方法[22]相同的双对数变换，以便更易于用高斯过程（GP）进行建模。我们发现，LogCEI优于朴素实现的CEI，并且比SCBO收敛更快。与无约束问题类似，LogCEI相对于CEI的性能优势随着问题维度和约束数量的增加而增大。值得注意的是，我们发现对于某些问题，LogCEI实际上改进了原始文献中报道的一些最佳结果，同时函数评估次数减少了三个数量级，详见附录D.7。

使用qLogEI的并行期望改进 图5报告了在16维Ackley函数上并行贝叶斯优化的性能，包括采用附录A.4中厚尾非线性函数的顺序贪婪方法和联合批次优化方法。除了qLogEI相对于qEI的明显优势外，一个关键发现是：联合优化批次采集函数中的候选点可以产生极具竞争力的优化性能，更多结果见附录D.3。

使用qLogEI的高维贝叶斯优化 图6展示了LogEI在三个高维问题上的性能：嵌入在100维空间中的6维Hartmann函数、一个100维的火星车轨迹规划问题，以及一个103维的支持向量机（SVM）超参数调优问题。我们使用的SVM问题源自Eriksson和Jankowiak[21]研究的388维问题，通过Xgboost选取其中100个最重要特征，构造了一个103维的版本。

图6显示，在与SAASBO[21]以及标准高斯过程（GP）结合使用时，引入qLogEI均带来了不同程度的优化性能提升。特别是，在嵌入式Hartmann问题上，qLogEI带来了显著改进，甚至使得采用标准GP的贝叶斯优化最终赶上了使用SAAS先验的模型。另一方面，在SVM和Rover问题上的差异并不显著，详见第6节的讨论。

使用qLogEHVI的多目标优化 图7在两个多目标测试问题上比较了qLogEHVI与qEHVI，测试中采用了不同的批次大小，包括一个受现实世界启发的蜂窝网络设计问题，旨在优化覆盖范围和容量[19]。结果与我们在单目标和约束优化情况下的发现一致：qLogEHVI在所有批次大小下均持续优于qEHVI，甚至优于JES[73]。有趣的是，在最大批次大小和DTLZ2问题上，qLogNEHVI相对于参考点（HV > 0）的性能提升比其他方法晚大约三个批次才开始出现，但在后续批次中其性能显著超越了其他方法。有关激光等离子体加速优化[40]和车辆设计优化[56, 70]等其他合成及受现实世界启发的多目标问题的结果，详见附录D.5。

6 讨论

总结来说，期望改进（EI）在以下两种情况下会出现梯度消失问题：1）目标函数的高值在搜索空间中高度集中时；2）随着优化过程的推进。在本节中，我们强调指出，这些条件并非在所有贝叶斯优化（BO）应用中都会出现，且LogEI的性能依赖于代理模型（surrogate）的质量。

关于问题的维度性 虽然我们的实验结果表明，随着问题维度的增加，LogEI的优势通常会变得更大，但我们强调，这从根本上说是由于高目标值在搜索空间中的集中现象所致，而非维度本身。事实上，我们观察到一些虽然环境维度较高但内在维度较低的问题，其中LogEI相较于EI并未带来显著提升，例如图6中的SVM问题。

关于渐近改进 尽管LogEI系列方法通常更容易优化，从而获得更高的采集值，但在优化性能上的提升幅度可能较小，例如图2中10维平方和凸函数的对数目标结果；或者仅在后期迭代中才开始显现，如图7中DTLZ2问题在q = 16时的情况。

关于模型质量 即使较优的目标值集中在搜索空间的很小区域，且进行了大量迭代，如果代理模型的预测效果较差，或其不确定性无法准确反映代理模型与真实目标函数之间的偏差，LogEI仍可能无法优于EI，参见图6中的Rover问题。在这些情况下，更高的采集值并不一定带来更好的贝叶斯优化性能。

取代EI 尽管存在上述局限性，我们仍强烈建议用LogEI的对应版本取代各类EI方法。如果在某个问题上EI持续优于LogEI，则说明EI方法族本身可能就是次优的，而性能的提升实际上应归因于随机分布候选点所带来的探索性，而这种探索性本可以被更明确地引入优化过程。

7 结论

我们的研究结果表明，梯度消失问题是导致基于改进的采集函数难以优化的主要根源，而通过谨慎的重新表述和实现，我们可以有效缓解这一问题。结果表明，在广泛多样的问题上，各类改进型EI变体的优化性能均得到了显著提升。特别是，我们证明了在并行贝叶斯优化中，联合批次优化方法可以与实践中常用的顺序贪婪方法相媲美，甚至在某些情况下超越后者，而这些优势也得益于我们的改进方法。

除了显著的性能提升外，我们改进后的采集函数的一个关键优势在于，它们对启发式且可能脆弱的初始化策略的依赖性大大降低。此外，我们提出的改进并未显著增加原有采集函数的计算复杂度。

尽管我们的贡献可能无法直接照搬到其他类型的采集函数上，但其中的核心洞见和策略具有可迁移性，例如可帮助改进易受类似数值挑战困扰的信息类采集函数[36, 78]、考虑成本的采集函数[53, 68]以及其他类型。此外，将我们提出的方法与考虑梯度信息的一阶贝叶斯优化方法[5, 16, 23]相结合，可能会在高维应用中产生尤为显著的效果，因为这两种方法的优势通常都随着搜索空间维度的增加而增强。

总体而言，我们希望本研究能提高学术界对“良好优化采集函数”的重要性的认识，尤其是对相关数值计算中所需谨慎处理的关注。

B 优化获取函数的策略

如第2.3节所述，已经应用了各种不同的方法和启发式来解决优化获取函数的问题。为了本工作的目的，我们只考虑连续域 X。虽然离散和/或混合域在实践中也相关，并且在近年来受到了大量关注——参见例如Baptista和Polocec [7]，Daulton等人[15]，Deshwal等人[18]，Kim等人[46]，Oh等人[64]，Wan等人[76]——我们在这里改进获取函数的工作与此基本正交（尽管当使用基于梯度的优化器时，预期的最大收益是在混合变量BO中，如在离散变量上进行条件化，或在使用连续松弛、概率重新参数化或直接估计器[15]进行离散或混合BO时）。

可以说，优化获取函数的最简单方法是通过网格搜索或随机搜索。虽然这种结合局部搜索的变体在优化离散或混合空间时可以有意义，并且当获取函数可以有效地批量评估时（例如在GPU上），这显然不适用于高维连续域，因为需要覆盖的空间呈指数增长。

另一种相对直接的方法是使用零阶方法，如DIRECT [43]（例如由Dragonfly [45]使用）或流行的CMA-ES [34]。这些方法易于实现，因为它们避免了计算获取函数梯度的需要。然而，不依赖梯度也使它们的优化性能劣于基于梯度的方法，特别是在高维问题和/或并行贝叶斯优化中的联合批量优化中。

在连续域中优化获取函数的最常见方法是使用基于梯度下降的算法。梯度可以通过解析推导的闭式表达式计算，或通过现代机器学习系统（如PyTorch [65]、Tensorflow [1]或JAX [9]）的自动微分能力计算。

对于解析获取函数，一个常见的优化器选择是L-BFGS-B [10]，这是一种准二阶方法，使用梯度信息来近似Hessian并支持盒约束。如果有其他更一般的约束施加在域上，其他通用非线性优化器如SLSQP [49]或IPOPT [75] 也被使用（例如由BoTorch [2]使用）。对于蒙特卡洛（MC）获取函数，Wilson等人[79]提出使用基于通过重新参数化技巧[47]获得的随机梯度估计的随机梯度上升（SGA）。其他人也使用了随机一阶算法，包括例如Wang等人[77]和Daulton等人[15]。Balantac等人[6]基于Wilson等人[79]的工作，展示了如何使用样本平均近似（SAA）来获得MC获取函数的确定性梯度估计，这具有能够利用为确定性问题设计的优化算法改进的收敛率的优势，如L-BFGS-B。这种通用方法后来已被应用于各种其他获取函数，包括例如Daulton等人[42]和Jiang等人[42]。

实际上，几乎没有贝叶斯优化的实现使用高阶导数信息，因为这需要通过自动微分计算解析表达式的复杂导数，这在计算上比仅计算一阶导数要昂贵得多。一个显著的例外是Cornell-MOE [80, 81]，它支持牛顿法（尽管这仅限于在库中用C++实现的获取函数，并且不容易扩展到其他获取函数）。

B.1 多起点梯度下降的常见初始化启发式

在优化获取函数的背景下，基于梯度的优化的一个关键问题是由于目标通常高度非凸，优化器可能会陷入局部最优。这通常通过从分布在域中的不同初始条件重新启动优化器来解决。

为此提出了各种不同的启发式方法。最基本的方法是从域中均匀采样的随机点重新启动（例如，scikit-optimize [35] 使用此策略）。然而，正如我们在本文中所论证的，获取函数在域的大部分区域可能（数值上）为零，因此纯粹的随机重启可能变得无效，特别是在更高维度和更多数据点的情况下。因此，一种常见的策略是增加或偏置重启点选择，以包括更接近“有希望的点”的初始条件。GPyOpt [71] 通过迄今为止观察到的最佳点或通过汤普森采样生成的点来增加随机重启。Spearmint [68] 基于当前最佳点的高斯扰动初始化起始点。BoTorch [6] 通过对其获取函数值的随机点集执行玻尔兹曼采样来选择初始点；此策略的目标是在域中实现有偏的随机采样，这可能会在获取值高的区域生成更多点，但仍然保持渐近空间填充。Trieste [66] 使用的初始化策略与BoTorch中的类似，但不使用通过玻尔兹曼采样的软随机化，而是简单地选择前k个点。最近，Gramacy等人[33]提出使用先前观察到的数据点的Delaunay三角剖分来分布初始条件。这是一种有趣的方法，它将从单维情况下在观察点之间初始化的想法推广开来。然而，由于计算三角剖分的复杂性（经验上发现墙钟时间在维度上呈指数增长，见[33，图3]，最坏情况下在观察到的点数上呈二次方增长），这种方法在问题维度和观察到的数据点数量方面扩展性不好。

然而，虽然这些初始化策略可以帮助更好地优化获取函数，但它们最终无法解决获取函数本身的根本问题。确保获取函数提供足够的梯度信息（不仅是数学上的，也是数值上的）是能够有效优化它的关键，特别是在更高维度和更多观察到的数据点的情况下。

D 额外的实验细节和结果

D.1 实验细节

所有算法都在BoTorch中实现。分析EI、qEI、cEI使用标准的BoTorch实现。我们利用原始作者实现的单目标JES [38]、GIBBON [63]和多目标JES [73]，这些都可以在BoTorch的主要存储库中找到。所有模拟都运行了32次重复，误差条代表平均值的标准误差的±2倍。我们使用具有自动相关性确定（ARD）的Matern-5/2核，即每个输入维度的独立长度尺度，以及长度尺度上的top-hat先验在[0.01, 100]。输入空间被标准化到单位超立方体，目标值在每次优化迭代中被标准化。

D.2 关于消失值和梯度的额外实验结果

正文中图1的左图显示了对于域中大部分点，EI的梯度在数值上基本为零。在本节中，我们提供了关于这些模拟的额外细节以及结果的直观理解。

图1左图使用的训练数据生成过程（DGP）如下：80%的训练点从域中随机均匀采样，而20%根据以函数最大值为中心的多变量高斯分布进行采样，标准差为域长度的25%。这个DGP背后的思想是模仿在贝叶斯优化循环中看到的数据类型（而不必运行数千次DGP循环来生成图1）。在这种DGP下，选择的测试问题中，观测点（最佳观测点）通常比随机测试位置的值更好，随着问题的维度增加和训练点数量的增长，这种情况变得越来越明显。这正是在进行贝叶斯优化时的典型情况。

对于特定的重复，图15显示模型在样本内（黑色）、样本外（蓝色）以及通过60个训练点和随机选择的50个（2000个中的）测试点的最佳点（红色）进行拟合。可以看到，模型对样本外数据产生了合理的均值预测，不确定性估计似乎相当合理校准（例如，可信区间通常覆盖真实值）。实践者会认为这是贝叶斯优化目的的好模型。然而，尽管模型在训练点附近有充足的不确定性，但对于大多数点，均值预测比观测值高出几个标准差。这是EI在零（或消失小）值和梯度消失时出现问题的关键原因。

D.4 含噪声期望改进

图19对“含噪声”变体qLogNEI进行了基准测试。与无噪声情况类似，随着问题维度的增加，LogEI变体相对于传统版本的优势也随之增大；并且在噪声水平较高时，含噪声版本相较于传统版本表现更优。

D.5 使用qLogEHVI进行多目标优化

图20比较了在6个不同测试问题上的qLogEHVI和qEHVI，这些问题包含2或3个目标，维度从2到30不等。这包括3个真实世界启发的问题：优化覆盖和容量的蜂窝网络设计[19]、激光等离子体加速优化[40]和车辆设计优化[56, 70]。结果与我们在单目标和约束情况下的发现一致：qLogEHVI始终优于qEHVI，并且在更高维度的问题上差距更大。

D.6结合LogEI和TuRBO进行高维贝叶斯优化

在正文中，我们展示了LogEI在高维空间中相对于其他基线的表现特别好。在这里，我们展示了LogEI如何与高维BO的信任域方法（如TurBO [24]）协同工作。

图21比较了LogEI、TurBO-1 + LogEI、TurBO-1 + EI以及原始基于汤普森采样的实现在50维Ackley测试问题上的性能。结合TurBO-1和LogEI在使用少量函数评估时比基线表现更好。汤普森采样（TS）在10,000次评估后表现更好，但这个实验展示了在无法进行数千次函数评估的情况下结合TurBO和LogEI的潜力。由于我们优化的是的批次，我们还从高斯过程中的蒙特卡洛样本数量从128（BoTorch默认值）增加到512，并使用第A.4节的胖尾平滑近似，以确保对批次中所有候选点的强梯度信号。

关于TS相对于qLogEI的最终表现，我们认为这是由于模型误设，因为具有Matern-5/2核的GP的平滑性无法表达Ackley在最优值处的不可微性。

D.7 约束问题

在运行第5节中使用CEI的基准测试时，我们发现实际上我们改进了文献中已知的最佳结果。我们将结果与Coello和Montes [11]的结果进行比较，这些结果是通过30次运行每次80,000次函数评估生成的。

• 对于压力容器设计问题，Coello和Montes [11]引用了一个最佳可行目标值为6059.946341。在仅16次不同的运行中，LogEI在110次评估后实现了5659.1108的最差可行目标值，最佳情况为5651.8862，使用几乎少三个数量级的函数评估显著降低了目标值。

• 对于焊接梁问题，Coello和Montes [11]引用了1.728226，而LogEI在110次评估后找到了1.7496的最佳情况，虽然略差，但我们强调这是使用少三个数量级的评估。

• 对于张力-压缩问题，LogEI在110次评估后找到了目标值为0.0129的可行解，而[11]中报告的值为0.012681。

我们强调，遗传算法和BO通常涉及不同的问题类别：BO主要关注样本效率和小数据机制，而遗传算法通常利用更多的函数评估。这里的结果表明，在这种情况下BO具有竞争力，甚至可以超越遗传算法，仅使用样本预算的一小部分，详见附录D.7。样本效率对于物理模拟器特别重要，其评估需要大量的计算工作，通常使得数万次评估变得不可行。

原文链接：https://arxiv.org/pdf/2310.20708