多重信赖域贝叶斯优化 (MTRBO)

多重信赖域贝叶斯优化 (MTRBO)

MTRBO: Multiple trust-region based Bayesian optimization

https://arxiv.org/pdf/2605.06618

摘要：

贝叶斯优化（BO）是一种用于优化黑盒函数的流行框架。尽管其有效，但由于搜索空间的指数级增长、目标函数的异质性以及较低的采样预算，BO在高维问题上通常效率低下。为克服这些问题，本文提出了一种基于多信任域的贝叶斯优化技术（MTRBO）。信任域是一个局部区域，在该区域内优化模型被认为能够准确地逼近目标函数。假设高斯过程（GP）作为关于目标函数的先验信念，并基于后验均值和方差函数，该方法在一个信任域内自适应地利用有前景的当前解附近区域，同时在另一个信任域内探索搜索空间中最不确定的区域。建立了所提方法的理论全局收敛性。随后，该工作与当前其他最先进的基于信任域的贝叶斯优化算法进行了基准对比，在多种非凸和高维测试函数上展现出优越的性能。在采样预算（即函数评估次数）内，所提方法在解的质量方面优于其他方法。所提方法被应用于投资组合优化问题，以验证其在现实场景中的适用性。

关键词：高斯过程；贝叶斯优化；信任域；全局优化

1 引言

在工程与科学研究领域，优化问题通常涉及处理计算昂贵（难以评估、耗时、评估成本高等）的黑盒函数。由于缺乏关于连续性、可微性、凸性等已知数学性质的信息，传统方法在此类问题上往往失效。贝叶斯优化（BO）已成为应对这些场景的强大工具，通常使用高斯过程对复杂目标进行建模与优化，且仅需有限的评估次数。贝叶斯优化最早起源于Kushner（1964）的工作，该研究假设布朗运动随机过程作为目标函数的先验，并引入了改进概率（PI）采集函数，用于在存在噪声的情况下寻找任意多峰曲线最大值点的位置。另一种采集函数“期望改进（EI）”由Močkus（1975）提出。尽管这些仅是早期工作，但贝叶斯优化在Jones、Schonlau和Welch（1998）的研究之后获得了更多关注，该研究提出了一种针对昂贵黑盒函数的高效全局优化（EGO）算法。多年来，研究者提出了众多贝叶斯优化变体，Du等人（2022）、Lu等人（2023）以及Z. Wang等人（2024）为近期的相关工作。有关贝叶斯优化最新进展的更多细节可参阅X. Wang等人（2023）的文献。

尽管BO在超参数调优、机器人学、材料科学等诸多领域取得了成功，但在高维搜索空间设置下，其可扩展性与效率面临严峻考验。正如Eriksson等人（2019）所指出的，优化高维问题面临若干挑战。首先，随着维度增加，搜索空间呈指数级扩大，使得从大量局部最优中定位全局最优变得更加困难。其次，函数本身通常具有异质性，这增加了构建有效全局代理模型的复杂度。最后，由于维度灾难，搜索空间的增长速度远快于采样预算（即可能的函数评估总数），导致出现具有显著后验不确定性的区域。这通常导致常见的采集函数过度偏向探索，而以牺牲利用潜在有前景区域为代价。近期的研究进展旨在通过多种不同方法克服这些局限。许多技术利用了目标函数中潜在的可加结构，例如Kandasamy等人（2015）、Gardner等人（2017）以及Z. Wang等人（2018）的工作。这些方法通常涉及训练大量高斯过程（GP），每个GP代表不同的可加结构，这使得它们在面对较大评估预算时可扩展性较差。另一些替代方法（如Z. Wang等人，2016；Nayebi等人，2019）则依赖于将高维空间映射至未知的低维子空间，从而能够处理大量观测数据。此外，为应对大量观测数据，大规模贝叶斯优化通常采用批量选点进行并行评估。尽管近期引入了多种批量采集函数（Chevalier & Ginsbourger，2013；Shah & Ghahramani，2015；González等人，2016），但这些方法在实践中通常难以随批量大小的增加而有效扩展。

尽管上述方法为克服传统BO的局限提供了不同方向，但它们自身仍存在不足。基于可加结构的方法随着评估预算的增加，往往会变得计算昂贵且效率低下。管理大量GP具有挑战性，且在评估预算较大时易引发可扩展性问题。将高维空间映射至低维子空间的方法依赖于对目标函数结构的特定假设。这些假设在实践中未必总是成立，可能导致代理模型出现偏差。尽管批量采集函数旨在并行评估多个点，但它们在处理大批量时常常面临挑战。针对大批量有效扩展这些方法仍存难题，因为计算需求的增加以及管理大量并行评估的困难，往往导致它们在实践中表现不佳。

为克服BO的上述局限及近期应对方法的不足，本文提出了一种基于多信任域的贝叶斯优化（MTRBO）算法。该算法在每次迭代中分别设置两个信任域，独立用于探索与利用。对于探索，选取在基于观测值将高斯过程模型拟合至昂贵黑盒目标函数后，不确定性最高的区域。对于利用，选取当前最佳观测值附近的信任域，并在该区域内进行若干次子迭代以寻找后验均值函数的最大化点；该后验均值函数在长期运行中本身会收敛于实际目标函数。因此，在每次迭代中，所提方法仅在远小于完整搜索空间的极小区域内进行搜索，且不会在探索与利用之间做出妥协。该方法经过精细调整，避免了对高探索的过度敏感，而这正是传统BO在高维设置下的一个缺陷。在每次迭代中，该方法首先预测下一次迭代的两个可能查询点。其一来自探索阶段，即探索信任域内采集函数的最大化点；其二通过在接近当前最佳观测值处进行利用获得，该点基于实际增量（针对后验均值）与预测均值（针对采集函数）的比率，在若干次子迭代中使用不同的信任域来最大化当前后验均值函数。（注：原文“ration”应为“ratio”的笔误，此处按“比率”译出。）该做法是合理的，因为从长远来看，后验均值函数将收敛于实际目标函数。本文的主要贡献包括： • 提出了一种名为基于多信任域的贝叶斯优化（MTRBO）的全局优化方法。 • 确立了该方法的理论全局收敛性。

近期，在该研究方向上已有若干进展（Regis，2016；Eriksson等人，2019；Diouane等人，2023；Li等人，2023）。这些方法与所提方法的比较将在第2节中进行。

本文其余部分组织如下：第3节介绍高斯过程与传统贝叶斯优化的基本概念。接着，第4节详细讨论所提出的基于多信任域的贝叶斯优化算法，第5节提供对所提方法全局收敛性的理论分析。实验结果以及与现有基于信任域的贝叶斯优化方法的对比将在第6节中讨论。最后，第7节给出对所提方法的整体结论。

2 相关工作

TRIKE (Regis, 2016) 采用了一种信任域策略，其中每次迭代通过在指定信任域内最大化期望改进（EI）函数来确定。该信任域的大小根据实际改进量与预测 EI 之间的比率进行调整。

TuRBO (Eriksson 等人, 2019) 算法构建了一组局部模型，并使用隐式多臂老虎机方法在这些模型之间策略性地分配样本，以进行全局优化。

在 TRLBO (Li 等人, 2023) 中，采用了两个动态调整的信任域，旨在提高算法的利用能力，同时保持其探索潜力。具体而言，一个信任域有助于最小化高斯过程中的样本数量，而另一个则限制了候选点的解空间。

TREGO (Diouane 等人, 2023) 在常规的高效全局优化（EGO）步骤与信任域内的局部步骤之间交替进行。

除 TREGO 外，上述所有先前的工作主要集中于在当前最优解附近进行利用，以抵达局部最优。TRIKE 采用了一种重启策略：当 EI 低于某一阈值时，会生成新的初始观测值，并再次在当前最优解附近进行利用。TuRBO 使用独立的高斯过程（GP）模型同时进行多次贝叶斯优化运行，每个模型位于不同的信任域内。TRLBO 使用一个信任域来减少 GP 模型中的观测数量，并使用另一个信任域在当前最佳观测值附近进行利用。该方法仅专注于局部优化。尽管 TRIKE 和 TuRBO 具备一定的探索潜力，但探索仍无法得到保证。仅专注于利用背后的论点是：随着搜索空间维度的增加，常见的采集函数主要倾向于探索。TREGO 确实考虑了探索，但该方法并未专门缩小搜索空间；默认情况下，在每次迭代中它都会在整个搜索空间上进行常规的全局搜索，仅在全局阶段未能充分改进解的少数几次迭代中除外。因此，根本问题——即贝叶斯优化在高维搜索空间下表现不佳——并未得到妥善解决。某些方法未能恰当地探索搜索空间，某些方法忽略了利用，导致过度探索，而某些技术则需要目标函数具备额外的性质。

本文提出的 MTRBO 算法通过考虑两个信任域克服了所有这些问题：一个用于探索不确定性最高的区域，另一个用于在当前最优解附近进行利用。该算法经过精细调整，即使在探索阶段提供了在最大化采集函数方面更好的查询点，它也会通过在当前最优解附近进行利用来避免过度探索（从而解决 TuRBO 中指出的问题）。在利用阶段完成后，仅当该点仍然更优时，算法才会在下一次迭代中转移至该点。MTRBO 在探索与利用之间取得了平衡，并且搜索空间仅被缩减至信任域范围内。

3 预备知识

在全文中，不失一般性，本文中的所有优化问题均表述为最大化问题。如果遇到最小化目标，则通过对函数值取负在内部进行转换。

3.1 高斯过程

高斯过程（Gaussian Process, GP）是将多元高斯分布推广到无限多个变量的情形。它是定义在函数上的分布。形式上我们可以说：

定义 1. 高斯过程是一组随机变量的集合，其中任意有限个随机变量均服从多元高斯分布。

核函数必须是正定的，其含义是对于任意有限的点集，由成对评估形成的核矩阵是正定的。存在几种核函数，但本工作将使用平方指数核（Squared exponential kernel），也被称为径向基核（Radial basis kernel），这是由于其平滑性质以及在 GP（高斯过程）文献中的广泛使用，并且它在计算上是高效的。如果已知关于目标的先验知识表明其波动剧烈，那么 Matern 核将是一个更好的选择。平方指数核定义为

其中 s 是缩放因子， l 是长度尺度。

3.2 贝叶斯优化

迄今为止仅讨论了统计模型，它主要是高斯过程，并代表了对未知目标函数的信念。然而，每次迭代中生成点序列的过程并未被描述。随机选择查询点虽是可能的，但这将是一种浪费；相反，使用的是选择策略（也称为采集函数），该策略利用后验模型来指导搜索选择。

尽管文献中这种早期的策略 PI (Kushner, 1964) 在目标已知的情况下表现良好，然而在一般情况下，PI 过度利用而探索不足，这可能导致搜索过程陷入局部最优。为了解决这个问题，接下来的采集函数考虑了改进的期望。

3.3.2 期望改进 (EI)

期望改进采集函数被定义为当前函数值相对于当前最佳函数值的改进量为正时的期望值。

3.3.3 上置信界 (UCB)

上置信界是一种流行的乐观方法，通过考虑后验均值和方差的加权和来平衡探索与利用，定义如下：

3.4 基于信任域的优化

信任域方法用于处理优化问题，其通过将最优解的搜索限制在一个模型被认为能准确表示目标函数的区域内。关于信任域方法的最早工作可追溯至 (Levenberg, 1944)，并在 (Marquardt, 1963) 的工作之后得到普及，该方法因此被命名为 Levenberg-Marquardt 方法。关于信任域方法的详细综述可见 (Yuan, 2015)。与线搜索方法不同（线搜索方法先选择一个方向，然后决定沿该方向走多远），信任域方法确定当前点周围的一个区域，在该区域内模型是一个良好的近似，然后在该区域内进行优化。在第 k 次迭代中，针对一般优化问题的信任域算法

尽管信任域方法在解决导数可用的大规模非线性优化问题时十分有用，但信任域方法的扩展也应用于无导数优化中，在此类优化中目标函数的导数不可用，并采用了代理模型。在本工作中，我们将重点关注后者。

4 提出的基于信任域的贝叶斯优化技术

如第1节所述，如果搜索空间的维度较高（通常超过20），传统贝叶斯优化将无法表现良好。另一方面，在贝叶斯优化中用于指导搜索的基础采集函数本身会变为多模态的，这使得优化变得更加困难。因此，在每次迭代中，不再搜索整个空间，而是基于采集函数搜索两个目标函数被认为可能包含最优解的区域。这大幅缩小了搜索空间，同时在该区域内采集函数的多模态性也降低了，这使得搜索更加容易且有效。在每次迭代中考虑两个信任域；一个用于探索，提供搜索空间中不确定性最高区域的信息，而另一个用于利用，专注于当前最优解的邻域。

此处，寻找实际目标函数值以计算实际增量是不可取的，因为目标函数是昂贵的，因此增量是在后验均值函数上计算的，随着观测值数量的增加，该函数趋向于实际函数。

该算法在算法 (3) 中系统地给出。

5 收敛性分析

在本节中，对所提算法的收敛性质进行了分析。首先建立高斯过程模型的后验均值收敛于真实目标函数 f ( x )的条件。然后检查探索和利用阶段的行为，展示算法如何有效地平衡探索和利用以覆盖整个搜索空间并细化有希望区域周围的搜索。最后，利用这些结果证明算法实现了全局收敛，确保随着迭代次数的增加，目标函数的全局最优最终被识别出来。

这一结果确保了随着可用数据的增加，只要数据稠密地覆盖该空间，GP 代理模型就能准确逼近目标函数。证明遵循经典核插值理论，可在 Berlinet 和 Thomas-Agnan (2004) 中找到。

在全文中，假设目标函数是一个昂贵但确定性的黑盒函数，且观测到的函数值中没有噪声。在存在噪声观测的情况下，可以使用如 (Chowdhury & Gopalan, 2017) 中讨论的集中不等式来证明收敛性。关于分类和混合搜索空间的全局收敛性已在 (Wan et al., 2021) 中展示。

注： 定理 1 仅确立了所提方法的理论健全性，确保其非发散性，并非旨在验证其优越性。支持所提方法解决高维设置下标准贝叶斯优化问题的有效性的主要证据，由下一节中的实证结果提供。

6 实验与结果

实验的主要目标是评估所提出的 MTRBO 算法在解决高维问题时的功效和性能。具体而言，旨在评估该算法在各种基准问题（包括非凸和不可微函数）上高效定位最优或近优解的能力。实验结果还将提供关于 MTRBO 应用于复杂、昂贵的黑盒函数时的可扩展性和鲁棒性的见解。实验是多方面的：首先，使用不同维度的合成测试函数分析该方法的性能，并对该方法中使用的超参数进行敏感性分析；其次，进行消融研究，以深入了解探索和利用等组件对方法性能的影响；然后，将该方法应用于现实世界问题（如 MuJoCo 和投资组合优化），以验证其在实际应用中的可接受性。此外，还针对所提方法与基线方法进行了统计显著性测试。所有已进行实验的完整细节展示在表 1 中。所有实验均在一台运行 Windows 11 系统、配备 Intel(R) Core(TM) i5-6500 处理器和 16 GB 内存的 PC 上完成。

6.1 测试函数与对比算法

实验使用了来自名为"OptimizationTestFunctions" (Pascal, 2020) 的 Python 库中的 17 个合成测试函数，每个函数具有不同的维度（2、20、50、100、500），用于测试。待优化的目标函数表达式见附录 A。为验证所提方法在现实世界中的应用，使用了来自 OpenAI Gym 库的 MuJoCo HalfCheetah-v2 问题，以及投资组合优化问题，其中股票价格的历史数据收集自"yfinance"Python 库。

6.2 测试函数实验

由于贝叶斯优化旨在适用于昂贵函数，因此低采样预算是可取的，即通过极少量的函数评估，尽可能准确地预测实际目标函数。在本工作中，所有对比实验的采样预算均设定为 100，随后进行敏感性分析以检查其对所提方法的影响。因此，在对不同维度（2, 20, 50, 100, 500）的每个测试函数进行 100 次函数评估后，观测所提方法（多信任域贝叶斯优化，MTRBO）的目标函数值，以及高效全局算法（EGO）、基于克里金的期望改进优化中的信任域实现（TRIKE）、信任域贝叶斯优化（TURBO）、高效全局优化的信任域框架（TREGO）、基于信任域的局部贝叶斯优化（TRLBO）的目标函数值，并在所有独立试验中根据各方法观测到的最小值和最大值范围进行归一化。对于所有实验，基线方法的超参数设置如下：

6.3 讨论

为了评估所提算法的有效性，我们在不同维度的一组多样化的测试函数上，与几种最先进的黑盒优化方法进行了全面对比。不同维度下所有测试函数的各方法归一化分数详见表 3、4、5、6、7。

• 对于跨不同维度的大多数测试函数，所提 MTRBO 方法实现的平均归一化分数（如表 1 所定义）优于其他方法。
• 该方法的最差表现也接近于所有方法和运行中观测到的整体最小值。
• 在许多情况下，所提方法获得的最小值与 相匹配。

为了理解所提方法中关键组件（即探索和利用）的单独贡献，我们进行了一项消融研究。这涉及系统地禁用算法的一个组件并观察其对性能的影响。移除探索会导致全局搜索能力变差，而移除利用则会导致忽略潜在区域。在 MTRBO 中同时启用探索和利用比单独使用探索或利用能带来更好的结果。详细结果可见表 2。

所提出的 MTRBO 方法已被应用于两个截然不同的问题领域：MuJoCo HalfCheetah 强化学习环境和金融领域的投资组合分配问题。在 MuJoCo HalfCheetah 任务中，其目标是学习一种控制策略以最大化随时间推移的累积奖励，MTRBO 的性能与几种基线优化方法进行了基准对比。如条形图（图 3）所示，它取得了比竞争方法更高的累积奖励。在投资组合分配问题中，目标是在资产权重约束下最大化回报并最小化风险。尽管在测试函数的情况下未对每个变量进行归一化，但对于大多数现实世界的问题，人们需要对每个变量进行归一化，因为不同变量的范围可能存在显著差异，这可能会影响优化性能。在此投资组合优化问题中，假设权重范围为 [0, 1]。表 8 中展示的对比结果表明，与其他方法相比，所提方法在大多数情况下既能获得更高的目标函数值，也能获得更好的夏普比率。

在图 4 中，展示了每种方法在 100 次迭代中针对二维 Ackley 函数的进展，数据基于 30 次独立试验运行的均值及其离散程度，旨在深入了解不同方法如何逼近最优或近优解，以及它们各自的收敛速度。从图中可以明显看出，与基线方法相比，所提出的 MTRBO 方法表现出更快的收敛速度。尽管 TRLBO 在初始阶段的表现优于 MTRBO，但它倾向于陷入局部最优。这主要是因为 TRLBO 过度侧重于利用（exploitation），并且通过采用信任域来限制高斯过程中使用的样本数量。虽然这增强了利用能力，但也可能导致该方法忽略潜在的更好探索区域。与许多贝叶斯优化方法类似，MTRBO 在早期阶段强调探索（exploration）。这解释了为什么 TRLBO 最初可能优于 MTRBO，但最终会遭受过早收敛至局部最优的风险。

为了说明所提方法在针对少数基准函数的特定测试运行中如何搜索空间并逐渐收敛至最优或近优解，展示了图 1 和图 2。这些图还区分了在探索阶段选择的点和在利用阶段选择的点。从这些图中可以看出所提方法的一个局限性：它偏向于探索。然而，这可以通过增加利用阶段的子迭代次数来缓解。另一个局限性是该方法的计算复杂度——在每次迭代中，都需要将高斯过程拟合到观测数据上，这带来了
的成本。

为了直观展示每次迭代后探索阶段的信任域半径如何变化，提供了图 5。这让我们深入了解该方法是如何探索搜索空间的：随着观测到的样本越来越多，信任域的半径正在减小。

6.4 超参数敏感性分析

此处，公式 (9) 表示均值-方差投资组合分配问题的总期望收益，该收益期望被最大化。而公式 (10) 指的是作为风险度量的总相关方差，该方差需要被最小化。受约束条件限制，与资产相关的权重比例之和为 1，且所有权重均为正数或零。均值-方差投资组合优化问题定义如下：

随着资产数量的增加，搜索空间也随之增大，这意味着优化目标的问题正变得更加困难。随后，所提出的优化方法被用于解决这种高维情况下的问题。考虑了两个数据集，一个包含来自印度国家证券交易所（Indian National Stock Exchange）的 100 只股票，另一个包含来自纽约证券交易所（New York Stock Exchange）的 200 只股票（数据时间为 2019 年 1 月 1 日至 2024 年 1 月 1 日）。所提出的方法以及本文讨论的所有用于对比的方法都被用来解决这两个数据集的投资组合优化问题，结果提供在表 (8) 中。基于 30 次试验的平均夏普比率（性能度量），所提方法在两个数据集上均给出了最佳性能。

7 结论

本研究提出了一种基于信任域的贝叶斯优化（BO）技术，该技术既在当前最佳目标函数值点附近利用高斯后验均值函数，又在不确定性最高的区域进行探索。通过在每次迭代中进行若干次子迭代来利用后验均值函数，该方法避免了在利用阶段计算目标函数，同时能够很好地了解该区域（因为从长远来看，均值函数会逼近昂贵的目标函数）。利用与探索之间的平衡既提供了对目标函数局部特性的更好认知，又能有效地覆盖搜索空间。随后，将所提方法与最先进的基于信任域的贝叶斯优化以及常规贝叶斯优化在多种合成测试函数上进行了对比，这些测试函数具有非凸、不可微等特性，且维度从 2 变化到 500 不等。在预定义的采样预算内，所提方法获得的解更优，这表明该方法能够以较少的函数评估次数对未知的目标函数进行泛化，从而使其适用于计算昂贵的函数。为验证其在现实问题中的适用性，所提方法被用于解决来自不同股票市场的 100 只和 200 只股票的投资组合优化问题。与其他方法相比，该方法在夏普比率方面的性能同样更为优越。

尽管本研究有望取得巨大成功，但该方法仍存在局限性；该方法有推广至目标存在本质冲突的多目标场景的空间，此外还存在计算复杂度较高的问题，且该方法略微偏向探索，但这可以通过增加利用阶段的子迭代次数来加以解决。

原文链接：https://arxiv.org/pdf/2605.06618