Advances in Approximate Bayesian Inference for Models in Epidemiology
流行病学模型中近似贝叶斯推理的进展
https://arxiv.org/pdf/2504.19698
![]()
![]()
![]()
要点
复杂的流行病学模型通常难以拟合数据,尤其是在需要实时更新的情况下。
我们回顾了四种主要的近似贝叶斯方法,这些方法允许用户在计算效率与精度和不确定性之间进行权衡。
特别地,我们综合介绍了近似贝叶斯计算(ABC)、贝叶斯合成似然(BSL)、集成嵌套拉普拉斯近似(INLA)和变分推理(VI),总结了这些领域近期的发展和活跃的研究方向。
我们提供了一个决策框架,帮助非专业人士为其建模问题选择最合适的框架。
最后,我们指出由这一综述产生的两个激动人心的研究前沿:(1) 开发混合贝叶斯推理方法,战略性地结合精确方法和近似方法的优势,实现可扩展且理论基础扎实的推理;(2) 将这些进展应用于回答重要的流行病学问题,满足公共卫生危机期间对准确且高效推理日益增长的需求。
摘要:
贝叶斯推理方法在传染病建模中非常有用,因其能够传播不确定性、处理稀疏数据、纳入潜在结构,并应对高维参数空间。然而,通过同化观测数据对这些模型进行参数推理仍具挑战性。尽管渐近精确的贝叶斯方法在理论上可保证推理准确性,但其计算成本高昂,难以用于实时疫情分析。本综述整合了近似贝叶斯推理方法的最新进展,旨在平衡推理准确性与可扩展性。我们聚焦于四类主流方法:近似贝叶斯计算(Approximate Bayesian Computation)、贝叶斯合成似然(Bayesian Synthetic Likelihood)、集成嵌套拉普拉斯近似(Integrated Nested Laplace Approximation)和变分推理(Variational Inference)。针对每种方法,我们评估其在流行病学应用中的相关性,特别强调那些同时提升计算效率与推理准确性的创新。我们还针对不同建模场景提供了实用的方法选择指南。最后,我们指出“混合精确-近似推理”是一个前景广阔的研究前沿,它将方法论严谨性与应对疫情所需的可扩展性相结合。本综述为流行病学家提供了一个概念框架,以帮助他们在当代疾病建模中权衡统计准确性与计算可行性。
关键词:近似贝叶斯推理;近似贝叶斯计算;合成似然;INLA;变分推理;校准;舱室模型;流行病学;传染病模型
引言
传染病的传播对公共卫生、经济稳定和社会福祉构成重大挑战,正如 COVID-19 疫情所展示的那样(Hossain 等,2020;Kaye 等,2021)。机制模型是量化传播动态、预测疫情暴发和评估干预措施的关键工具(Brauer,2008)。然而,对这些模型进行参数推理仍具挑战性。高维参数空间、潜变量(例如未观测到的感染/感染时间)以及模型结构的不确定性(例如混合模式、模型假设)使参数估计过程复杂化(Swallow 等,2022)。这些挑战又被不完整或含噪声的数据进一步加剧,如不一致的医疗记录或延迟的检测结果,这在实时应用中尤为棘手(Marion 等,2022;Kretzschmar 等,2022)。尽管像 MCMC 这样的精确方法仍是黄金标准,但其计算成本对于复杂模型或新发疫情往往过高——而在这些场景中,快速推理对公共卫生决策至关重要。这些挑战激发了人们对近似贝叶斯方法的兴趣,这些方法以牺牲渐近精确性为代价换取可扩展性。
本综述聚焦于流行病学模型中近似贝叶斯推理的最新进展,特别关注能够应对以下三大核心需求的创新:(1)针对高维或含潜变量模型的计算效率;(2)对噪声或稀疏数据的鲁棒性;(3)与统计学和机器学习方法结合,以自动化传统上需人工调参的步骤。我们的目标是为流行病学建模者提供一份比较性强、面向应用的综述,尤其适合那些有兴趣使用或开发用于推理的机器学习工具的研究者。我们重点介绍当前在传染病建模领域日益流行的四种主要近似贝叶斯推理方法:近似贝叶斯计算(ABC),通过基于模拟的比较绕过似然函数计算;贝叶斯合成似然(BSL),使用对汇总统计量的高斯近似;集成嵌套拉普拉斯近似(INLA),利用潜高斯模型实现快速确定性推理;以及变分推理(VI),通过优化参数化近似来逼近后验分布。
本文其余部分结构如下:第 2 节回顾精确贝叶斯推理方法,评估其在传染病建模应用中的优势与局限。第 3 节对四种关键近似方法(ABC、BSL、INLA 和 VI)进行比较性综述,考察其理论基础、实施难点和流行病学应用案例,并提供实用的方法选择指南。第 4 节总结全文,指出机器学习与流行病学推理交叉领域中尚存的挑战与未来研究方向。通过将方法论进展与实际需求相联系,本综述旨在帮助研究人员在疫情推理中权衡准确性、可扩展性与鲁棒性之间的取舍。
渐近精确的贝叶斯推理方法
2.1 流行病学建模中的贝叶斯推理
贝叶斯推理为传染病建模提供了一个强大的统计框架,因其能够传播不确定性、处理稀疏数据、纳入潜在结构,并应对高维参数空间(Lopes 和 Beaumont,2010;Kypraios 等,2017;Grinsztajn 等,2021)。根据贝叶斯定理,后验分布定义为:
![]()
其中,π(θ|y) 表示在观察到任何数据 y 之前,我们对模型参数 θ 的先验信念。π(y|θ) 是观测数据 y 的似然函数。项 π(y) = ∫ π(y|θ)π(θ)dθ,被称为边缘似然或证据,其作用类似于归一化常数,以确保后验分布是一个有效的概率分布。在实际应用中,π(y) 通常无法以闭式表达,或者需要指数级时间来计算。因此,常见做法是将后验分布仅表示为比例形式,省略 π(y),同时保留分布的形状和位置。这种表达方式仍允许直接量化参数的不确定性,这对于疫情预测和干预规划至关重要。
为了将贝叶斯框架应用于现实世界的问题,必须适当满足三个条件:(1)设定合适的先验分布;(2)能够利用后验分布进行不确定性推理;(3)似然函数需可处理,即应能显式表达并计算。然而,在实践中,所选的先验和似然函数往往无法为后验提供闭式解。这种情况尤其出现在似然函数复杂、难以直接计算或缺乏闭式表达式时。在这种情况下,计算似然可能需要对隐藏变量进行积分,或考虑疫情所有可能的随机实现,这一过程计算量巨大且常常不可行。因此,计算感兴趣的数量本身就是一个数值问题,也是一个独立的挑战。
贝叶斯推理方法在应对这些计算障碍方面取得了显著进展,可根据其估计后验分布的方式,大致分为渐近精确方法和近似推理方法(Alahmadi 等,2020)。精确方法,如马尔可夫链蒙特卡洛(MCMC),使用如 Metropolis-Hastings 或哈密顿蒙特卡洛(HMC)等算法直接从后验分布中采样,当似然函数可处理且有足够时间使算法收敛时,可提供准确结果(Neal, 2012;Brooks 等,2011)。
2.2 Metropolis-Hastings 蒙特卡洛方法
MCMC 家族中的基础方法之一是 Metropolis-Hastings(MH)算法(Metropolis 等,1953;Hastings,1970),该算法已被广泛用于传染病建模中的参数推理。MH 算法构建一个马尔可夫链,即一系列相关随机样本,用于探索参数空间,使其平稳分布对应于后验分布。为了评估收敛性,通常的做法是运行多个链并比较它们的行为。如果各链混合良好并收敛到相似的分布,则表明算法很可能已达到目标分布。一旦收敛完成,从链中抽取的样本便提供了对真实后验分布的可靠近似。
在每一步中,算法提出一组新的参数值 θ′,并以由后验密度比决定的概率接受该提议:
![]()
如果提出的值导致更高的后验密度,则确定性地被接受;否则,该提议仍可能以与当前状态后验值接近程度成比例的概率被接受,从而允许链在探索参数空间的同时仍倾向于高概率区域。
尽管被广泛使用,MH 算法在现实世界的流行病学场景中常因高参数相关性、多峰后验分布以及来自真实疫情动态的维度增加而出现收敛缓慢和混合不良的问题(Hoffman 等,2014;Neal,1993)。这些效率低下主要源于其依赖随机游走提议机制,这限制了其有效探索后验空间的能力(Gelman 等,1995;Betancourt,2017)。
2.3 哈密顿蒙特卡洛方法
哈密顿蒙特卡洛(HMC)方法通过引入哈密顿动力学(Duane 等,1987;Neal,2012)和微分几何(Betancourt 等,2014)的概念,旨在克服上述低效率问题。HMC 通过引入辅助动量变量扩展参数空间,并利用目标分布(即后验分布)的梯度信息引导采样过程。该方法显著减少了随机游走行为,从而能够高效探索高维或高度相关的后验分布(Neal,2012)。有关 HMC 方法的详细技术描述,请参见附录 A。
尽管 HMC 相较于传统 MCMC 算法显著提升了采样效率(Monnahan 等,2017),其性能仍依赖于若干调优参数,包括步长、蛙跳步数以及动量变量的协方差结构(Betancourt,2016)。这些参数对采样器性能影响巨大,但人工优化往往具有挑战性。为解决这一问题,现代概率编程工具(如 Stan 和 PyMC)在实现 HMC 的同时,还集成了自适应变体,如“无U型转弯采样器”(NUTS),可自动调整参数,从而使贝叶斯推理对流行病学研究更加友好和易用(Hoffman 等,2014;Carpenter 等,2017;Abril-Pla 等,2023)。近期的流行病学研究已通过 Stan 平台使用 HMC,在多种传染病模型中高效完成参数推理(Chatzilena 等,2019;Andrade 和 Duggan,2020;Grinsztajn 等,2021)。
尽管有上述进展,当应用于复杂、高维的流行病场景时,包括 HMC 在内的精确贝叶斯方法仍计算成本高昂。此外,精确方法严重依赖似然函数的可用性与可处理性,而在某些流行病学情境下,似然函数可能极为复杂或不可计算。
近似贝叶斯推理方法
渐近精确推理方法的实际限制,如高计算成本和分析上的复杂性,推动了对近似贝叶斯推理方法的兴趣和发展。这些方法牺牲了一定的统计精度,接受小偏差或更宽的不确定性区间,以换取显著的计算效率和可扩展性。例如,虽然精确方法旨在从真实的后验分布中采样,近似方法通常依赖于确定性近似或替代模型以实现更快的结果。这种权衡在流行病学中很有价值,因为在流行病学中,对于大型数据集或计算密集型模型(例如,空间或基于个体的模拟)进行及时推理通常优先于渐近精确性。在本节中,我们回顾了四种主要的近似方法家族:近似贝叶斯计算(ABC)、贝叶斯合成似然(BSL)、积分嵌套拉普拉斯近似(INLA)和变分推理(VI)。
3.1. 近似贝叶斯计算
许多现实世界中的流行病学问题涉及具有不可处理似然的模型,例如基于代理的模型、随机隔室模型或部分观察的传播树。在这种情况下,像近似贝叶斯计算(ABC)这样的无似然方法提供了一种实用的替代方案,用于在精确贝叶斯推理方法不可行时进行推理。
3.1.1 ABC方法概述
ABC的起源可以追溯到Rubin(1984年),并在Tavare等人(1997年)使用接受-拒绝框架进一步形式化。从那时起,ABC已经发展成为一种用于复杂系统的多样化方法家族。其核心优势在于其通用性:它通过比较观察数据和模拟数据的汇总统计量来绕过显式似然计算,使用距离度量。
![]()
标准的拒绝-接受 ABC 算法(图1)的运行步骤如下:
![]()
![]()
3.1.2 方法论进展和应用
多年来,对经典拒绝接受ABC算法进行了实质性改进,特别是通过其三个调整参数的改进。Harrison和Baker(2020)引入了一种加权欧几里得距离方法,旨在选择最优权重向量,以最大化ABC的参数先验分布和后验分布之间的距离。在传统的ABC实现中,通常不可行直接使用原始数据集作为摘要统计,因为数据通常缺乏有意义的排序,因为每个观察结果被假设来自相同的潜在过程,使它们在统计上相似。然而,Benton等人(2019)提出在ABC算法中使用Wasserstein距离作为距离度量,以直接比较观察到的和模拟的数据的经验分布,绕过摘要统计选择。
研究人员还将ABC与现有采样方法结合,以提高其在高维参数空间中的可扩展性和性能。已经开发了几种采样器,包括ABC-MCMC(Marjoram等人,2003;Wegmann等人,2009;Kypraios等人,2017)、ABC-SMC(Sisson等人,2007;Toni等人,2009;Beaumont等人,2009;Drovandi和Pettitt,2011),以及基于粒子的方法,如ABC-pMCMC(McKinley等人,2020)。这些方法使ABC类方法能够在高维参数空间中进行高效采样,使其适用于流行病学中传输模型的参数推理和干预策略评估;参见Kypraios等人(2017);Gozzi等人(2021b,a);Sygka等人(2021);Dankwa等人(2022);Gozzi等人(2023)的工作。虽然这些采样器可以近似真实后验,但在具有复杂潜在结构的模型中或需要实时推理时,它们仍然在计算上很密集。因此,在统计精度和计算可行性之间取得平衡仍然是ABC方法发展和应用中的一个核心挑战。
3.1.3 汇总统计量选择的挑战
在近似贝叶斯计算(ABC)中,汇总统计量通过将高维数据简化为低维表示,在实现无似然推理中发挥着关键作用。在传染病建模的背景下,这些统计量通常旨在捕捉关键的流行病学特征,例如疫情高峰的时间与规模、感染总数,或跨人群的传播动态。然而,选择既具信息量又计算高效的汇总统计量,仍是 ABC 框架中最具挑战性的任务之一。一方面,高维汇总统计量可能加剧“维度灾难”,导致计算成本上升、接受率下降;另一方面,过于简化的统计量可能丢失关键信息,从而导致后验近似效果不佳(Blum, 2010)。
近年来,机器学习方法开始改变 ABC 中汇总统计量构建与选择的方式。这些数据驱动的方法旨在直接学习数据与参数之间的函数关系,从而减少对专家手工设计统计量的依赖。Jiang 等人(2017)使用深度神经网络拟合汇总统计量与合成数据之间的关系。但由于深度神经网络需要大量数据才能有效学习参数,因此采用三层神经网络来运行模型。Raynal 等人(2019)提出了一种自动选择信息性汇总统计量的方法。该方法从一组广泛的候选统计量出发,利用随机森林作为黑箱回归工具,基于这些统计量估计后验量。此外,Åkesson 等人(2021)引入了一种卷积神经网络架构,可直接将高维时间序列数据映射为参数估计值,训练后网络的输出(预测的后验均值)即作为 ABC 推理过程中的汇总统计量。有关汇总统计量选择其他方法的详细综述,请参见附录 B。
总体而言,将机器学习融入 ABC 在应对长期存在的汇总统计量选择挑战方面展现出巨大潜力。然而,如何将这些方法论进展转化为适用于现实世界应用的稳健且可解释的工具,仍是当前亟待解决的重要研究方向。
3.2 贝叶斯合成似然
贝叶斯合成似然(BSL)提供了一个替代框架,用于在似然函数不可解时执行近似贝叶斯推理。本节详细探讨BSL框架。
3.2.1 BSL概述
![]()
![]()
其中下标 N 表示对模拟次数的依赖。大量的模拟(即 N 值较大)可降低似然方差,但会增加每次迭代的计算成本。相反,较少的模拟虽可降低成本,但由于合成似然估计的方差增大,可能导致接受率下降。因此,在计算成本与似然方差之间找到平衡至关重要。
3.2.2 方法学进展与应用
贝叶斯合成似然(BSL)的发展仍面临两大主要方法学挑战:(1)降低合成似然估计所带来的计算负担;(2)选择既具信息量又符合高斯假设的汇总统计量。在这两个方向上,研究者已取得显著的方法学进展。
合成似然估计需要近似汇总统计量的均值和协方差,而这些量是未知的,必须针对每个候选参数值进行估计。在标准方法中,这些量在每次迭代中都会被重新估计,导致显著的计算开销,尤其当汇总统计量维度升高时更为严重。为缓解这一问题,研究者提出了多种更高效的替代方案。Meeds 和 Welling(2014)引入了一种方法,通过为每个参数函数构建高斯过程模型,以降低估计方差。为简化协方差估计,该方法仅对协方差矩阵的对角元素建模,从而近似整个协方差矩阵。随后,Everitt(2017)提出了一种基于自助法(bootstrap)的协方差估计器,其经验上生成的协方差估计值比原始样本估计值具有更低的方差。An 等人(2019)进一步改进,利用图Lasso(Graphical Lasso)高效生成稀疏且低方差的协方差估计。此外,针对汇总统计量协方差矩阵的收缩估计器(shrinkage estimators)也有助于减少模拟需求(Ong 等,2018;An 等,2019)。最近,Priddle 等人(2022)提出一种方法,通过结合收缩估计与白化变换对汇总统计量进行去相关处理,从而进一步提升计算效率。
尽管如此,BSL 仍存在一个根本性局限:其依赖于汇总统计量服从正态分布的假设。当该假设被违反时,方法的鲁棒性可能受损。为此,近期研究聚焦于放宽高斯假设。Fasiolo 等人(2018)引入了扩展鞍点近似,作为一种更灵活的似然近似方法。Thomas 等人(2022)提出了基于逻辑回归的合成似然方法,以增强模型适应性。An 等人(2020)提出了一种半参数密度估计框架,该框架结合了灵活的边缘分布与高斯copula,以处理非正态的依赖结构。作为补充,Muñoz 等人(2022)在流行病学研究中针对聚合计数数据考虑使用泊松分布。尽管这些进展提供了有前景的替代方案,但其有效性在很大程度上仍取决于所选汇总统计量的结构。
3.2.3 在流行病学中的应用
许多理论研究表明,BSL 对高维汇总统计量的容忍度高于 ABC(Price 等,2018;Frazier 和 Drovandi,2021;Frazier 等,2023)。例如,Price 等人(2018)在涉及 145 个汇总统计量的细胞生物学应用中表明,BSL 显著优于 ABC——在该场景中,ABC 难以在不丢失图像序列所含关键信息的前提下降低维度。
尽管 BSL 在理论上具有优势且方法学不断进步,其在流行病学中的实际应用仍相对有限。Fasiolo 等人(2014)将 BSL 应用于生态学与流行病学中的状态空间模型。Woroszyło 等人(2018)首次将合成似然方法应用于真实世界观测数据,建模家庭层面的腹泻发生情况。更近期,Muñoz 等人(2022)将 BSL 整合进一个更广泛的贝叶斯框架,用于估计复杂、大规模流行病学模型的参数。
正如 Drovandi 和 Frazier(2022)所指出,投入精力选择信息性强的汇总统计量可显著提升模型性能,其效果往往优于使用完整数据的方法。这一观察凸显了一个宝贵的研究方向:将 ABC 和 BSL 方法扩展应用于真实世界的流行病学案例,以进一步评估和验证其实际有效性。
![]()
3.3 近似贝叶斯推理方法——集成嵌套拉普拉斯近似
在考察了适用于似然函数不可处理模型的近似贝叶斯推理方法(如 ABC 和 BSL)之后,我们现在转向专为似然函数可处理模型设计的方法。特别地,我们聚焦于“集成嵌套拉普拉斯近似”(INLA),该方法专门为在潜高斯模型(Latent Gaussian Models, LGMs)中实现高效推理而开发(Rue 等,2009)。
3.3.1 潜高斯模型
潜高斯模型是一类广泛的层次模型,其潜变量场被假设服从高斯分布,且观测值在给定潜变量场和超参数的条件下相互独立。这类模型涵盖了许多常用的统计模型,包括广义线性混合模型、基于高斯马尔可夫随机场的空间与时空模型,以及生存模型,这使得 INLA 成为应用研究者的一种实用工具(Rue 等,2009,2017)。
![]()
3.3.2 INLA 方法论
INLA 为近似潜变量场和超参数的后验边缘分布提供了一种计算高效的替代方案,可用于替代基于模拟的方法(如 MCMC)在潜高斯模型(LGMs)中的应用(Rue 等,2017)。INLA 的核心思想是利用嵌套的拉普拉斯近似来逼近进行贝叶斯推理所需的高维积分(Rue 等,2009)。该方法可分为以下三个主要步骤:
步骤1:超参数联合后验的近似
联合后验分布 π(θ∣y)使用拉普拉斯近似进行近似(Bardorff-Nielsen 和 Cox,1989):
![]()
![]()
![]()
3.3.3 在流行病学中的应用
R-INLA 软件包为使用 INLA 拟合潜高斯模型(LGMs)提供了用户友好的界面,使该方法易于被流行病学研究人员使用(Martins 等,2013)。
近期的应用实例包括疾病制图和风险评估。例如,已开发出如 SSTCDapp 等工具,用于基于贝叶斯层次模型估计空间和时空疾病风险(Adin 等,2019)。研究人员还利用 INLA 比较离散与连续空间模型在贝叶斯疾病制图中的表现(Konstantinoudis 等,2020),并分析 HIV 感染率的空间分布(Debusho 和 Bedaso,2023)。
在 COVID-19 大流行期间,INLA 在实时时空分析中发挥了重要作用,例如 PandemonCAT 工具用于追踪疫情进展(Chaudhuri 等,2022)。它已被用于评估出行限制的影响(Saez 等,2020;Jaya 等,2023)、估算超额死亡人数(Knutson 等,2023),以及建模 SARS-CoV-2 的再感染动态(Penetra 等,2023)。
在传染病监测中,INLA 被用于校正报告延迟(Bastos 等,2019)、改进疟疾干预策略的决策(Canelas 等,2021;Toh 等,2021),以及建模登革热传播动态(Carabali 等,2022;Baldoquín Rodríguez 等,2023)。
在 HIV 和慢性病流行病学中,INLA 改进了对 HIV 风险群体中空间异质性的估计(Wang 等,2023;Howes 等,2023)。
此外,INLA 还被应用于呼吸系统和环境健康领域,例如绘制呼吸道感染风险地图(Cortes-Ramirez 等,2023),以及分析慢性阻塞性肺疾病住院患者的空间模式(Martínez-Pérez 等,2023)。
3.3.4 方法学进展
自 Rue 等(2009)提出以来,INLA 彻底改变了潜高斯模型的贝叶斯推理方式。多年来,INLA 经历了显著的方法学进步,重点在于提升计算效率、拓展适用模型范围,并增强近似过程的准确性和灵活性。
INLA 方法学发展的主要方向之一是提升计算效率。Wang(2022)展示了在模板模型构建器中使用拉普拉斯近似来估计内在条件自回归模型的最大似然值,该方法相比 MCMC 和原始 INLA 显著减少了计算时间。类似地,Orozco-Acosta 等(2023)提出了一种可扩展的“分而治之”方法,用于高维时空疾病制图,通过将空间区域划分为更小的子域以减轻计算负担。Van Niekerk 等(2023)提出对 INLA 框架的现代重构,将线性预测因子从潜变量场中分离出来,从而降低高维数据带来的计算负担。这种重构结合低秩变分贝叶斯修正,实现了更快的推理而不牺牲准确性。
早期的 INLA 实现主要适用于结构相对简单的潜高斯模型。近年来的方法发展已将其适用范围扩展至更复杂的模型。Lee 等(2022)引入了一个贝叶斯层次建模框架,使用惩罚平滑样条创建非平稳空间表面,允许数据驱动的空间结构——特别适用于具有复杂连接模式的传染病建模。此外,Jin 等(2023)提出了 EpiMix,一种用于估计传染病时间变化再生数的新方法。EpiMix 将 INLA 与贝叶斯回归框架相结合,以纳入外生因素和随机效应。这种集成使得即使在低发病率场景下也能实现实时高效估计,而传统方法可能难以应对。inlabru 包(Bachl 等,2019;Lindgren 等,2024)支持非线性预测因子并自动化复杂工作流,扩展了 INLA 的能力,使其可用于点过程模型(Møller 和 Waagepetersen,2007)、空间计数模型和距离采样数据(Miller 等,2013),使高级空间建模对非专家也变得可行。
R-INLA 软件包的发展在推动 INLA 的普及中起到了核心作用。Van Niekerk 等(2021)介绍了 INLA 软件包中的多项新进展,以满足大规模空间、时间及时空模型中对可扩展且高效的贝叶斯推理日益增长的需求。
尽管 INLA 具有许多优势,但它并非普遍适用。其依赖于潜高斯模型(LGMs)的假设,限制了其仅适用于潜变量场可合理近似为高斯分布的情况。虽然对非高斯似然的扩展已取得成功,但具有高度非线性或非高斯潜结构的模型仍具有挑战性(Rue 等,2009)。例如,非高斯空间效应通常需要额外的近似(Van Niekerk 等,2023),或采用 MCMC 或混合方法(Wang,2022)。此外,INLA 的准确性取决于拉普拉斯近似的质量,在涉及强非线性或高维随机效应的情况下可能下降(Rue 等,2009)。
另一个局限是 INLA 在具有大量超参数的模型中性能可能下降。尽管 INLA 在超参数数量适中的模型中表现出色,但随着超参数空间维度增加,其效率会降低(Van Niekerk 等,2023)。这一点在复杂的时空模型或包含复杂交互项的模型中尤为相关。此外,INLA 在处理某些层次依赖关系方面存在困难,这些关系是 MCMC 自然能够处理的,且随着模型复杂度上升,INLA 所需的数值积分会变得计算密集(Van Niekerk 等,2021)。
未来的研究方向包括开发将 INLA 与 MCMC 或变分推理技术相结合的混合方法,以更好地处理非高斯潜结构(Van Niekerk 等,2021;Orozco-Acosta 等,2023)。数值积分技术和自适应算法的进步有望进一步提升 INLA 在高维问题中的可扩展性和准确性(Rue 等,2009)。
此外,利用高性能计算技术(如 GPU 加速)可以增强 INLA 在大规模数据集上的可扩展性(Van Niekerk 等,2021)。探索 INLA 与深度学习之间的联系也可能为高维数据分析开辟新的途径(Van Niekerk 等,2023)。
3.4 变分推理
除了 ABC、BSL 和 INLA 等推理方法之外,变分推理(VI)是另一种在复杂模型中构建似然函数的有影响力近似方法。
3.4.1 变分推理概述
变分推理(VI)是一种基于优化的近似贝叶斯推理方法,适用于后验分布在解析上不可处理或采样计算成本高昂的情况(Jordan 等,1999;Wainwright 等,2008)。与 MCMC 不同,MCMC 通过采样马尔可夫链并用链中的样本近似后验分布,VI 将推理过程转化为一个优化问题。它通常更快且更容易扩展到大规模数据,适用于需要快速探索多个模型的场景(Blei 等,2017)。
![]()
3.4.2 在流行病学中的应用
变分推理(VI)已成为应对现代流行病学分析中关键挑战的强大工具,包括实时疾病监测、疫情预测和大规模基因组监测。
VI 已被用于从复杂、含噪声的数据流中快速推理随时间变化的流行病学参数。例如,Fan 等人(2016)结合 Sigmoid 信念网络使用 VI,在基于图的分层隐马尔可夫模型中估计潜感染状态,能够在不假设低感染率的前提下捕捉流感在动态社交网络中的传播。在 COVID-19 疫情期间,Chen 等人(2021)应用 Stein 变分推理方法,高效估计异质性 COVID-19 流行病模型中的高维、时变参数,为长期护理机构与普通人群提供带有不确定性量化的预测。此外,Wilder 等人(2021)提出了一种基于高斯过程的 VI 方法,从稀疏且部分观测的检测数据中估计时变再生数。在基于个体的建模中,Smedemark-Margulies 等人(2022)应用黑箱变分推理,估计网络驱动的 SEIR 模拟中的传播参数,从而能够利用真实世界的人口流动与共现数据实现可扩展推理。
VI 处理高维稀疏数据的能力推动了疾病预测的发展。Senanayake 等人(2016)应用随机变分推理,扩展高斯过程回归,利用大规模流行病学数据建模并预测季节性流感的时空传播。McAndrew 和 Reich(2021)在贝叶斯集成框架内应用 VI,在噪声干扰和动态变化的监测数据下,对多个模型进行动态加权,实现实时流感预测。此外,Tahir 等人(2023)引入了一种结合 VI 与流归一化的贝叶斯神经网络,用于预测主要 SARS-CoV-2 变体的 T 细胞表位反应,并能在疫苗接种与未接种人群、数据不平衡的情况下实现泛化。
在基因组流行病学领域,VI 使得系统发育动力学分析得以在 MCMC 方法计算上不可行的规模上进行(Hassler 等,2023)。例如,Ki 和 Terhorst(2022)应用 VI 从数十万份 SARS-CoV-2 基因组中实时估计时间分辨的有效再生数。Moretti 等人(2021)及 Fourment 等人(2023)的方法进一步展示了 VI 在优化系统发育树拓扑结构及处理系统发育模型中梯度计算方面的实用性。然而,尽管具有计算优势,VI 在贝叶斯系统发育学中的应用仍受限于均场假设、不可处理的似然函数,以及在树规模稍大时扩展性差的问题。此外,VI 难以有效探索树空间,通常需要由系统发育学家引导推理过程(Fisher 等,2022)。
3.4.3 方法学进展
近年来,变分推理(VI)经历了显著的转型,从针对特定模型的手工推导方法,发展为一套适用于可扩展贝叶斯计算的通用工具包(Blei 等,2017)。这一转型得益于优化技术、灵活后验近似方法和计算效率方面的创新。尽管其中一些进展尚未在传染病建模领域广泛采用,但它们在应对现代流行病学研究中的关键挑战——如高维参数空间、时变潜变量状态和大规模数据——方面具有巨大潜力。
早期的 VI 方法,如均场近似(假设模型中每个参数可独立更新,忽略参数间相关性),需要大量手工推导工作,且难以扩展至复杂、高维的模型。Kucukelbir 等人(2017)提出了自动微分变分推理(ADVI),将 VI 重构为一个可通过随机梯度上升求解的通用优化问题。通过将受约束的潜变量转换到无约束的实数坐标空间,并利用自动微分计算梯度,ADVI 实现了对一大类可微概率模型的可扩展、黑箱式推理。
该方法已被集成到 Stan 概率编程系统中(Kucukelbir 等,2015),极大地方便了实际应用。在 Stan 中,用户使用其领域特定语法定义模型,并可通过简单设置命令行标志,将采样方法从 HMC 切换至 VI。然而,ADVI 依赖高斯近似,这在面对偏斜或具有多峰的后验分布时可能具有局限性。虽然理论上 VI 允许使用更灵活、非高斯的变分分布族,但在实践中这类替代方案极少被采用。大多数实现默认采用高斯近似,因其在解析和计算上更为便捷,但这也限制了其在现实应用中的表现,尽管其底层理论本可支持更广泛、多样化的近似形式。
许多传染病模型涉及动态演化的潜过程,例如传播率、随机疫情轨迹或空间相关的发病率模式。传统 VI 在此类场景中表现不佳,原因包括:(1)路径依赖性——当前状态依赖于其完整历史(如今天的病例数取决于过去的传播过程);(2)非线性关系——如群体免疫中的阈值效应,这些都会破坏 VI 通常采用的均场假设(即假设变量相互独立)。为应对这一问题,Ryder 等人(2018)提出了一种针对随机微分方程的黑箱 VI 框架。该方法利用循环神经网络近似条件扩散路径,避免了复杂的手工调参,能有效逼近复杂的条件动态过程,并支持在一大类随机微分方程(SDE)模型中实现快速、通用的推理。对于逼近复杂层次化后验分布(例如局部与区域传播参数),标准 VI 往往坍缩至单一模式,或产生高方差梯度。嵌套变分推理(Zimmermann 等,2021)通过多层逐步优化来解决此问题:每一层通过优化 KL 散度学习中间目标分布。该方法降低了梯度方差,并提升了具有深层潜结构模型的样本质量。
为提高大规模模型中的计算效率,Tan 和 Nott(2018)提出了一种高斯 VI 方法,该方法参数化精度矩阵的 Cholesky 分解因子,而非协方差矩阵,从而可融入反映后验分布中条件独立结构的稀疏性,显著降低高维模型的计算复杂度。该方法在广义线性混合模型和状态空间模型中表现出更高的效率和准确性。此外,Loaiza-Maya 等人(2022)提出了一种混合 VI 方法,对全局参数使用灵活的参数化近似,同时对潜变量进行精确或近似的条件采样。该方法在包含大量潜变量的模型中保留了类似 MCMC 的精确后验推理能力,同时保持计算的可扩展性。
一些较新的 VI 方法利用优化动态过程来近似后验分布。Pathfinder(Zhang 等,2022)利用拟牛顿优化路径和基于逆 Hessian 矩阵的局部高斯近似,高效定位后验分布的高概率区域。通过并行评估多条路径并结合重要性加权重采样,Pathfinder 相比传统 VI 显著降低了计算成本,同时实现了可扩展且准确的推理。此外,随着深度学习在流行病学中日益普及,VI 也可用于神经网络中的不确定性量化。Chang 等人(2019)引入了基于集成的 VI 方法,选择性地对关键网络权重应用高斯混合分布,从而在不带来过高计算负担的前提下实现可扩展的贝叶斯深度学习。该方法在需要不确定性估计但完整贝叶斯深度学习不可行的预测模型或代理疫情模型中具有潜在应用价值。
尽管 VI 取得了诸多进展,其仍存在局限性。一个主要问题是变分分布族选择受限所引入的近似偏差,尤其在面对重尾或多峰分布时(Talts 等,2018)。与 MCMC 不同,VI 缺乏收敛性诊断工具,使模型验证变得复杂(Gunapati 等,2022)。未来研究可致力于开发更具表达力但仍可处理的变分分布族,以更准确地捕捉复杂后验分布(Kucukelbir 等,2017),并在保证对模型误设鲁棒性的同时加速计算,以满足实时监测需求。将 VI 与其他推理方法结合(如混合 VI-MCMC 方法)有望融合两类框架的优势(Salimans 等,2015)。
3.5 方法比较
截至目前,我们已回顾了四类近似贝叶斯推理方法的方法学进展及其在流行病学研究中的应用。值得注意的是,INLA 已被广泛使用,这主要归功于 R-INLA 软件包的易用性和成熟度。ABC 和 VI 也在流行病学领域得到了应用。在许多情况下,这些应用受先前方法学研究的启发,或得益于相关软件工具的可用性。例如,在 Minter 和 Retkute(2019)的工作之后,ABC-拒绝采样法和 ABC-SMC 方法被更频繁地采用;而 ADVI(Kucukelbir 等,2015,2017;Chatzilena 等,2019)则因其在 Stan 平台中的实现而日益普及。这种采用模式背后的原因是什么?我们认为,有必要对这些方法的关键特性进行比较,以更好地理解各自的优势、局限性及实际应用情况(见表1)。
![]()
MCMC 方法提供渐近精确的推理,使其成为贝叶斯分析中准确性的基准。然而,其在实际应用中存在局限:MCMC 依赖于模型似然函数的可计算性,且在复杂、高维模型中计算成本可能过高。ABC 通过比较观测数据与模拟数据导出的汇总统计量,提供了一种无似然的替代方案。尽管 ABC 灵活且适用范围广,但它高度依赖三个关键调参要素:汇总统计量、距离度量和容忍阈值。这些依赖性,加上重复模拟的需求,可能导致较高的计算负担。BSL 方法通过将汇总统计量分布建模为高斯分布,在一定程度上缓解了这些问题,相比 ABC 降低了计算成本。然而,该高斯假设可能限制其在具有强非线性或后验多峰性的系统中的准确性和适用性。
与高度依赖模拟和精心选择汇总统计量的 ABC 和 BSL 不同,INLA 采用解析与数值积分相结合的方式,确定性地近似后验分布。这使其特别适用于具有层次结构或空间结构的流行病学模型。但 INLA 的优势也伴随着局限性:它专为潜高斯模型(LGMs)设计,最适合潜过程可合理近似为高斯分布的情形。变分推理(VI)则提供了另一种可扩展的替代方案,通过参数化分布族近似后验分布。虽然 VI 计算高效,尤其适合高维问题,但其依赖特定变分分布族会引入偏差。更灵活的变分族能更好地逼近复杂后验,但常以增加计算负担为代价;而更简单的分布族虽提升效率,却可能带来更高的近似误差。在实际操作中,往往需在一定程度的偏差与速度、可扩展性之间做出权衡。正是这些方法在准确性、可扩展性与鲁棒性之间的固有权衡,推动了对混合推理框架日益增长的兴趣。
为提升清晰度并为实际应用提供实用指导,我们还开发了一张决策图(图2),以帮助从贝叶斯推理工具箱中选择最合适的方法。该决策图围绕一系列关键诊断性问题构建,旨在将方法选择与当前研究问题的具体特征和需求对齐。第一步考虑似然函数是否可处理:若不可处理,则转向无似然方法。在此分支下,若存在信息充分的汇总统计量,则进一步评估其是否服从高斯分布——若服从,则适用 BSL;若不服从,则首选 ABC。若似然函数可处理,则进入基于似然的方法分支。此时,若模型结构符合潜高斯模型,则推荐使用 INLA;若不符合,则进一步判断可扩展性是否为优先考虑因素。当可扩展性至关重要时(如高维或数据密集型场景),VI 是首选;否则,MCMC 仍因其推理准确性而成为最佳选择。
![]()
结论
本文综述了用于传染病建模的渐近精确与近似贝叶斯推理方法的最新进展,比较了它们的关键特性,以更深入理解各自的优势、局限性及实际应用情况。为进一步支持现实世界的应用,我们开发了一张决策图,旨在指导用户从贝叶斯推理工具箱中选择合适的方法。
精确贝叶斯方法(如 MCMC)提供理论基础扎实的推理,但常受限于计算成本高昂、需可处理的似然函数,以及高维参数空间或部分观测流行病学数据所带来的挑战。近似贝叶斯推理方法则作为强有力的替代方案应运而生,在计算效率与合理的推理准确性之间取得平衡。诸如 ABC、BSL、INLA 和 VI 等方法显著拓展了复杂模型快速分析的适用范围,尤其在精确方法因计算不可行而受限时尤为关键。
然而,近似方法也并非没有局限。近似偏差以及缺乏对后验准确性进行稳健诊断的工具,仍是持续存在的挑战。这些挑战凸显出两个重要的研究前沿方向:(1)开发混合贝叶斯推理方法,战略性地融合精确方法与近似方法的优势,实现既可扩展又具理论基础的推理;(2)将这些方法进展应用于回答重要的流行病学问题,以满足公共卫生危机期间对准确且高效推理日益增长的需求。
在这些领域的进展还将受益于机器学习、概率编程和自动化调参策略的发展(Štrumbelj 等,2024),为跨学科合作开辟丰富的机遇。
![]()
![]()
原文链接:https://arxiv.org/pdf/2504.19698
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.