贝叶斯深度学习结构化照明显微术让超分辨率成像更可靠，还能衡量结果的不确定性。

Bayesian deep-learning structured illumination microscopy enables reliable super-resolution imaging with uncertainty quantification

贝叶斯深度学习结构化照明显微术让超分辨率成像更可靠，还能衡量结果的不确定性

光学超分辨率成像的目标是获取可靠的亚衍射信息，以促进科学发现。结构化照明显微术（SIM）被认为是活细胞超分辨率成像的最佳方式。尽管最近的深度学习技术已经显著推动了SIM的发展，但其透明度和可靠性仍然不确定且有待深入研究，这常常导致结果不可靠和对生物现象的错误解释。

在这里，我们开发了贝叶斯深度学习（BayesDL）用于SIM，它增强了对密集标记结构的重建，同时能够量化超分辨率的不确定性。凭借这种不确定性，BayesDL-SIM实现了高保真度的分布信息引导的SIM成像，允许向用户传达关于模型结果的可信度估计。我们还证明了BayesDL-SIM通过识别和防止各种模型误用场景中的错误泛化，提高了SIM的可靠性。此外，BayesDL的不确定性在日常超分辨率成像中具有多种用途，例如误差估计、数据采集评估等。此外，我们还展示了BayesDL-SIM在活细胞成像中的有效性和优越性，它可靠地揭示了F-肌动蛋白的动态变化以及细胞骨架的重组。这项工作为深度学习基础的SIM方法在实际应用中的可靠实施奠定了基础。

近年来，超分辨率（SR）荧光显微技术得到了迅猛发展，它能够突破衍射极限，并以前所未有的高分辨率揭示各种生物过程。在众多超分辨率技术中，结构化照明显微术（SIM）因其快速成像速度、低光毒性、高光子效率以及与荧光团的出色兼容性，被认为是最有希望用于活细胞成像的技术。SIM通常会在样本上应用一系列具有不同相位偏移和方向的空间图案化照明，将通常无法分辨的高频信息编码到显微光学传递函数的通带中。除了硬件部分，作为一种计算超分辨率技术，SIM需要重建算法从原始图像中提取超分辨率信息，然后生成超分辨率SIM（SR-SIM）图像。传统的重建方法基于复杂的频域工作流程或采用手工制作的分析模型，通常容易产生伪影，或在信号保留和噪声抑制之间做出妥协。基于深度学习的SIM（DL-SIM）方法利用深度神经网络（DNN）以数据驱动的方式从配对的原始和SIM数据中捕获统计知识，与传统方法相比，展现出显著优势，例如更高的保真度和更强的抗噪能力，因此成为SIM计算成像领域的主流标准。

尽管DL-SIM方法广泛流行，但仍面临两个实际挑战。首先，存在噪声时的SIM重建本质上是一个不适定的逆问题，这意味着对于任何一组给定的原始图像，都可能存在许多潜在的超分辨率解决方案。然而，无论输入图像的信噪比（SNR）如何，以及是否适用于重建模型，当前的DL-SIM方法只输出一个重建结果，而不考虑其不适定性或超分辨率信息的正确性。其次，生物样本/结构的多样性极高，即使是经验丰富的用户也很难判断输入图像是否与训练好的DL-SIM模型在知识一致性（KC）方面相符，因此评估和量化KC规范对于可靠采用DL-SIM模型至关重要，但到目前为止尚未实现。请注意，模型知识应涵盖成像统计的所有方面，任何方面的知识不一致（KIC）都会导致性能严重下降和明显的伪影。然而，由于模型知识隐含在预训练权重中，对用户来说是不可见的，因此保持KC规范并非易事，尤其是对于没有太多深度学习经验的生物学家或新手用户。

在本工作中，我们开发了一种用于SIM的贝叶斯深度学习（BayesDL）框架。BayesDL-SIM不仅提高了复杂结构的保真度，还能够量化SIM重建中的不同类型的不确定性，包括随机不确定性（AleaU）和认知不确定性（EpisU），其中AleaU表征由于原始数据中超分辨率信息不完整而导致的成像不适定性，而EpisU则突出了重建模型在其泛化过程中的知识缺陷。具体来说，通过将潜在的超分辨率流形建模为异方差概率分布，BayesDL-SIM量化了AleaU，并首次实现了精确的分布信息引导的超分辨率成像。此外，我们不是使用确定性模型，而是在随机贝叶斯神经网络（BNN）内进行贝叶斯后验推断，以量化EpisU。凭借BayesDL-SIM赋予的EpisU，现在可以识别由各种KIC引起的错误泛化，从而帮助防止不可靠成像和随后的生物误解释。此外，BayesDL的不确定性还作为一种有价值的工具，在日常超分辨率成像中展现出多种用途，例如超分辨率缺陷估计、数据采集评估等。此外，我们在活细胞成像实验中展示了BayesDL-SIM的优越性，表明BayesDL-SIM能够实现活细胞中肌动蛋白动态的高保真度、可靠、长期可视化。

结果

贝叶斯深度学习结构化照明显微术（BayesDL-SIM）的开发

与目前旨在通过确定性神经网络学习从原始图像到高质量真实结构化照明显微术（GT-SIM）图像的一一映射关系的DL-SIM方法不同，我们开发了用于SIM的贝叶斯深度学习（BayesDL），这是一个能够以最高精度推断超分辨率结构的同时，还能对SIM成像中的两种不确定性（即随机不确定性和认知不确定性）进行推理的贝叶斯框架。具体来说，BayesDL-SIM将源于超分辨率不适定性的随机不确定性（AleaU）形式化为潜在SIM图像的概率分布，同时将认知不确定性（EpisU）形式化为给定由参数θ参数化的网络时模型参数θ的概率分布。随后，BayesDL-SIM预测潜在SIM图像的分布为：

其中 N 是数据项的数量，是真实的SIM图像，分别表示估计的高斯均值和标准差，其对参数的依赖关系通过下标 θ 来突出。BayesDL网络可以通过与成对的原始和真实SIM图像一起，以端到端的方式训练来最小化异方差损失。诚然，异方差损失允许在SIM重建的同时量化AleaU。然而，我们发现它可能会损害重建的保真度。为了避免异方差损失对重建质量的不利影响，我们提出了一种解耦训练（DeT）方案，该方案包括两个步骤：（1）施加双域损失来指导与SIM重建相关的参数优化；（2）冻结在第一步中训练的参数，并应用异方差损失进行AleaU学习。

为了量化EpisU，我们通过将我们的BayesDL网络转换为贝叶斯神经网络（BNN），然后执行贝叶斯后验推断来捕获后验分布。尽管如此，对于深度神经网络（DNNs）来说，贝叶斯后验推断通常是难以处理的。在这里，我们采用了一种称为随机梯度Langevin动力学（SGLD）的近似贝叶斯推断方法，其基本策略是在训练期间向参数更新中注入噪声，以这种方式，模型参数的轨迹将收敛到真实的后验分布。

在推断阶段，我们还遵循方程（1），并使用蒙特卡洛（MC）技术来近似积分。通过从SGLD推断的后验中采样 θ，可以生成多个推断（称为MC样本）。预测均值作为最终的超分辨率SIM结果，并由以下公式给出：

在这项研究中，我们使用了恒定的五个蒙特卡洛（MC）样本，以获得最佳的性能-复杂度权衡（补充图6）。我们建议感兴趣的读者参阅补充说明4，以获取有关BayesDL-SIM的开发和实现的完整细节。

BayesDL-SIM实现了精确的分布信息引导的超分辨率成像

首先，我们在多种由荧光蛋白标记的亚细胞结构上测试了BayesDL与其他最先进的SIM方法的重建性能，包括包被网格蛋白的坑（CCPs）、微管（MTs）和F-肌动蛋白。我们观察到，与DFCAN和RCAN相比，BayesDL-SIM能更精确地重建复杂或微弱的结构，同时防止产生与传统SIM相比的不良伪影（图1c和补充视频1-3）。我们还展示了BayesDL-SIM在处理嘈杂原始数据方面的优越性，其中Hessian-SIM特征是过多的重建伪影，DFCAN和RCAN导致一些详细结构的混乱或缺失，而BayesDL-SIM表现出优越的抗噪性，并仍然产生忠实的超分辨率SIM结果（补充图7a和补充视频1-3）。沿着F-肌动蛋白的线扫描轮廓也表明，BayesDL-SIM结果与真实SIM结果的一致性更好（图1g和补充图7e）。此外，为了进一步定量评估DL-SIM方法，我们计算了两个指标，即峰值信噪比（PSNR）和图像分辨率，后者通过去相关算法测量，这意味着BayesDL-SIM提供了比其他方法更优的重建保真度和分辨率（图1b和补充图7d）。与其他先进SIM方法的更多比较可以参考补充图9。更重要的是，除了能够精确预测超分辨率SIM强度（即底层超分辨率分布的均值）之外，BayesDL-SIM还为其重建结果量化了像素级的随机不确定性（即底层超分辨率分布的标准差），如图1d和补充图7b所示，从而捕获了涵盖所有可能SIM解决方案的整个超分辨率流形。为了验证可靠性，我们在每种亚细胞结构上执行了模型校准，表明真实SIM强度的经验频率与预测的高斯分布非常匹配（图1f和补充视频1-3）。也就是说，BayesDL-SIM精确捕获了据我们所知，以前SIM方法未实现的底层超分辨率分布。一项相关工作是CARE，它也允许使用拉普拉斯似然估计超分辨率分布。我们全面比较了BayesDL-SIM和CARE-SIM，并证明了BayesDL-SIM优于CARE-SIM，突出表现在交叉丝状物的保真度显著提高和校准误差降低约4倍（补充图11）。

凭借BayesDL-SIM的分布信息引导的超分辨率成像能力，可以评估SIM重建结果的可信度。直观地说，具有较小随机不确定性（AleaU）的像素似乎更可信。然而，我们注意到，随机不确定性（即标准差）与荧光强度成正比，这给评估不同荧光强度区域的可信度带来了挑战。在这里，我们设计了一种可信度分析方法。指定一个错误率容忍度（δ），超出此容忍度的结果被认为是不可信的，我们计算在指定容忍度内所有可能强度的累积概率作为可信度，其范围从0到1（方法和补充图10）。不出所料，CCP图像中的非特征区域表现出高可信度，因为这些区域是平坦的，易于重建，而对于MT和F-肌动蛋白，聚焦结构往往比具有失焦荧光背景的区域更可信（图1e和补充图7c）。用户还可以获得其他定制容忍度δ的所需可信度图（补充图10）。分布信息引导成像的另一个有价值方面是，能够根据用户指定的可信度概率为每个像素提供可信区间（CI），而不是单一的强度值（方法）。例如，给定高斯分布的3-σ概率（0.9974），可以获得相应的3-σ CI（浅蓝色阴影，图1g和补充图7e），这意味着真实荧光强度落在3-σ CI内的概率恒定为0.9974。类似地，用户也可以以相同的方式定制其他可信度概率的CI。

我们通过分别实现带有（w/）和不带有（w/o）DeT方案的BayesDL-SIM，进一步分离了所提出的DeT方案的积极效果。可以观察到，不使用DeT方案的BayesDL-SIM倾向于产生过度平滑的结果，同时量化的AleaU校准适度，而整合DeT方案可以避免由AleaU学习引起的性能下降，提高SIM保真度，并使校准误差减少3倍以上（补充图12a-f）。此外，我们证实DeT方案也可以使概率性CARE-SIM模型受益（补充图12g-j），表明它是一种通用方法。

BayesDL-SIM因错误泛化而警告不可靠的超分辨率成像

在实践中，DL-SIM模型的一个常见陷阱是，它们只有在符合知识一致性（KC）规范时才能对未见数据进行良好的泛化。然而，由于大规模SIM数据的不可获取性，DL-SIM模型通常提取特定成像设置的专有知识，而不是通用知识。生物样本（例如不同的组织、细胞类型）和光学系统（例如不同的显微镜模式、成像条件）固有的巨大变异性加剧了SIM模型误用的风险，这违反了KC规范，导致错误泛化，并产生不可靠的超分辨率结果。另一方面，DL-SIM模型是黑盒，它们的错误泛化通常只能在事后通过真实SIM图像来评估，而这些图像在实践中往往不可用。因此，开发一种事前评估方法，帮助用户识别知识不一致（KIC）场景，从而防止错误泛化并提高超分辨率的可靠性，是非常必要的。在本节中，我们展示了BayesDL-SIM通过量化认知不确定性（EpisU）为这一挑战提供了一个有希望的解决方案。

我们首先检验用不同亚细胞结构训练的深度SIM模型是否能够共享它们的知识。为了处理F-肌动蛋白的原始图像，与用F-肌动蛋白数据训练的BayesDL-SIM模型提供的忠实重建相比，用CCP或MT训练的模型在解析F-肌动蛋白丝方面无能为力，其中许多弱信号被移除，一些强肌动蛋白丝变得不连续。定量测量与我们的视觉观察结果一致。这种有问题的图像是由不同亚细胞结构的知识不一致问题引起的，可能在日常成像实验中不易察觉，特别是对于没有深度学习经验的生物学家。幸运的是，我们发现BayesDL-SIM可以成为一个可行的工具，通过在训练和推理不匹配时，用更高的EpisU（平均增加约400%）标记不可靠超分辨率SIM结果的前景（FG）像素，从而向用户发出警告，提醒他们对成像结果要小心。

接下来，我们在荧光珠上测试BayesDL-SIM，以识别由密度变化引起的知识不一致问题。将绿色FluoSpheres（Thermofisher，F8803，100纳米直径）以1:1000和1:10,000的稀释度溶解在双重蒸馏水中，以产生不同密度的荧光珠。我们通过编程积累了两个数据集，一个包含正态分布的珠子（密度范围从0到4 μm^-2），另一个由稀疏珠子组成（密度范围从0到0.5 μm^-2）。两个BayesDL网络分别在这两个数据集上以相同的程序进行训练（分别称为正常密度和稀疏密度模型）。在推理阶段，我们注意到正常密度模型能够为稀疏和密集珠子产生高质量的重建，因为它在训练期间已经看到了各种密度的珠子，而只提取了关于稀疏珠子知识的稀疏密度模型在处理稀疏珠子方面表现出色，但倾向于过度分离间距较近的珠子。这表明荧光珠密度的知识不一致可能在图像块级别出现，然后局部损害模型泛化。更重要的是，BayesDL-SIM能够敏感地检测局部密度知识不一致，将忠实重建的珠子标记为可忽略的EpisU，而将过度分离的珠子标记为3-4倍更大的EpisU。

空间采样率是光学成像系统中另一个具有相当变异性的重要属性。即使在同一台显微镜中，空间采样率也可以随着物镜的放大倍数和数值孔径（NA）的不同配置而有很大差异。在DL-SIM成像中，空间采样率也影响神经网络中的特征表示，使其成为模型知识的一个重要方面。因此，空间采样率的知识一致性/不一致性问题值得探索。在这项工作中，样本通过我们的多模式SIM系统捕获和数字化，采样率为每像素31.2纳米。为了简单起见，我们通过2倍上采样和下采样模拟其他采样率的成像，分别对应每像素15.6和62.4纳米的采样率。当将训练在原始数据（采样率为每像素31.2纳米）上的BayesDL-SIM模型应用于其他采样率数据的重建时，重建的超分辨率SIM图像中出现了严重的模糊或重影伪影，并伴随着重建保真度的显著恶化。这表明空间采样率也是重建模型的专有知识。同样，我们在两个知识不一致案例中观察到前景EpisU的明显增加（超过250%），这有效地帮助确定了由于SIM模型缺乏对目标数据的适当采样率知识而超分辨率的不可靠结构。

此外，我们还证实了迁移学习是缓解知识不一致问题的有效方法，它可以通过在少量目标数据上微调模型权重来帮助缩小模型和数据之间的知识差距。感兴趣的读者可以参考补充说明7和8以获取更多描述。这些结果确立了我们BayesDL-SIM的可用性和优越性，它为防止DL-SIM模型的知识不一致引起的错误泛化以及随之而来的不可靠超分辨率成像结果提供了一个可行的解决方案。

贝叶斯深度学习（BayesDL）作为一种多功能工具

适用于常规超分辨（SR）成像。在本节中，我们展示了贝叶斯深度学习的多功能性，使其成为常规超分辨成像实验的有前景的工具。首先，我们说明贝叶斯深度学习量化的不确定性为评估超分辨成像误差提供了有价值的评估。由于模型容量有限，超分辨成像误差是不可避免的，而且在没有作为金标准的真实图像（GT）的情况下，实际中很难评估这些误差。尽管已经开发了如SQUIRREL34之类的方法，仅使用衍射受限（例如，宽场）图像来估计超分辨误差，但我们发现SQUIRREL的误差估计与真实重建误差的分布不同（图3a–c）。相比之下，我们注意到贝叶斯深度学习的两种不确定性与真实超分辨误差的相关性更好，高不确定性值倾向于与显示出明显误差的超分辨结构对齐。为了进一步深入研究，我们通过稀疏化图35,36（方法）对结构化照明显微镜（SIM）重建误差与贝叶斯深度学习不确定性之间的关系进行了定量分析。在所有三种亚细胞结构中，贝叶斯深度学习不确定性的稀疏化图与真实超分辨误差的稀疏化图的一致性超过了SQUIRREL（图3d–f）。这些观察结果展示了贝叶斯深度学习在没有真实SIM图像的情况下提供超分辨成像误差的替代测量的潜在用途。此外，值得注意的是，与表观不确定性（EpisU）相比，偶然不确定性（AleaU）更能准确地反映超分辨误差分布（图3d–f）。

考虑到偶然不确定性（AleaU）表征了原始数据中的超分辨信息质量，贝叶斯深度学习可以用于改善超分辨成像流程中的数据采集。例如，受到更严重噪声污染的原始图像会导致超分辨结构化照明显微镜（SR-SIM）结果的重建保真度降低，同时加剧了超分辨信息提取的模糊性，并导致偶然不确定性（AleaU）增加（补充图18）。因此，用户可以优化他们的成像参数，以实现获取产生尽可能小的偶然不确定性的原始数据的目标。此外，贝叶斯深度学习框架可以扩展到包括其他超分辨成像方法。我们将贝叶斯深度学习应用于具有较少原始图像的结构化照明显微镜（SIM）和使用衍射受限宽场图像的单图像超分辨成像（SISR）（补充注释4d）。类似地，由贝叶斯深度学习量化的偶然不确定性（AleaU）可以评估不同超分辨方法传达的物理超分辨信息。能够传达更多超分辨信息的超分辨方法在解析密集标记样本方面具有更强的能力，同时产生更小的偶然不确定性（AleaU）（补充图19）。这种效应在单图像超分辨成像（SISR）中最为显著，因为超分辨信息在宽场数据中并不存在，只能通过纯模型猜测来生成。

生成对抗网络（GAN）是荧光成像中另一种流行的神经范式，在以往的研究工作中展现出了强大的能力。贝叶斯深度学习（BayesDL）也适用于基于GAN的超分辨成像，通过引入一个辅助鉴别器为重建模型提供额外的对抗损失（补充注释4d、e）。尽管GAN模型增强了对致密肌动蛋白网的恢复，并在傅里叶域内更宽的范围内推断高频信息，但超分辨保真度却遭受了退化（重建误差平均增加了约40%），如补充图20a–d所示。基于GAN的成像的一个更严重问题是幻觉（hallucination），因为其明确的训练目标是在成像条件下（即使缺乏足够的超分辨信息）生成足够且有说服力的细节。幻觉问题通常过于逼真且微妙，难以检测。贝叶斯深度学习通过量化GAN模型的表观不确定性（EpisU），提供了一种有效的幻觉检测方法。可以看到，GAN伪造的不可靠细节通常被标记为具有大约300%–400%更大的前景表观不确定性（FG-EpisU），尤其是在低信噪比（SNR）条件下（补充图20a、e）。根据这些观察结果，我们认为GAN在高频增强方面的惊人能力部分来源于生成不可靠的幻觉。当使用基于GAN的模型来表征新的细胞过程时，用户应对具有显著表观不确定性的超分辨结构保持谨慎。

贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）实现了对活细胞中密集F-肌动蛋白的可靠可视化。

凭借贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）卓越的超分辨性能，我们将其应用于探测活细胞标本中的动态生物过程。细胞黏附是细胞在基底上附着和铺展的基本生物过程，已被证明容易受到以往超分辨显微镜采用的高激发功率的影响。在这里，在将表达mEmerald-Lifeact的活细胞放置在盖玻片上后，我们的贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）在低光照成像条件下实现了长达三小时的细胞黏附长期跟踪，在此过程中，细胞骨架的重组用于细胞形态调整被清晰地观察到（图4a和补充视频4）。与以往的结构化照明显微镜（SIM）方法（包括Hifi-SIM和DFCAN）相比，贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）提高了密集肌动蛋白丝的重建保真度，并实现了高保真度、长期、分布信息指导的活细胞超分辨成像，能够提供重建可信度图和强度置信区间（图4b）。此外，我们还在三种常见的光毒性诱导细胞死亡（KIC）场景中测试了活细胞超分辨成像，表明贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）能够通过产生1.5-2.5倍更大的前景表观不确定性（FG-EpisU），在整个成像期间一致地识别由KIC诱导的不可靠结构（图4c、d和补充视频4）。

在活细胞超分辨成像中，荧光信噪比（SNR）与成像时长之间存在权衡。保持一个不错的信噪比水平可能会导致快速光漂白，而降低信噪比水平可能会使原始数据无法使用。为了解决这种权衡，我们采用贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）在极端低信噪比条件下进行活细胞SIM成像。与现有的稀疏结构化照明显微镜（Sparse-SIM）和scUNet-SIM相比，贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）在从噪声原始数据中解析细节方面显示出更大的能力（补充图21a和补充视频5）。更值得注意的是，它能够可靠地可视化多达10,000帧超分辨图像的肌动蛋白动态，且没有明显的保真度下降（补充图21b、c和补充视频5），并且重建的肌动蛋白丝的平均长度持续增加（补充图21e和补充视频5）。此外，我们注意到，通过平均光子计数测量的荧光信噪比在成像过程中逐渐下降，相应地，重建结果的前景偶然不确定性（FG-AleaU）也随之增加（补充图21d、f）。总体而言，这些数据展示了贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）在活细胞超分辨成像中的可靠性和优越性。

科学超分辨成像的最高优先级是可靠性。然而，以往的超分辨技术通常过于自信，认为其结果是可靠的，而事实并非总是如此。例如，传统的基于模型的超分辨方法容易产生固定模式的伪影，并且需要精心调整参数以获得最令人满意的视觉效果；目前基于深度学习（DL）的方法盲目地进行端到端的图像转换，而没有明确的输出来告知用户模型的置信度程度。为了应对超分辨显微镜中的可靠性需求，在本研究中，我们为结构化照明显微镜（SIM）开发了贝叶斯深度学习（BayesDL）框架，该框架结合了神经网络和贝叶斯学习，旨在将前者可扩展性和表达能力与后者在不确定性量化方面的优势相结合。我们强调，贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）的实施与现有的监督深度学习结构化照明显微镜（DL-SIM）方法相比，并没有给数据采集和准备带来额外的负担。值得注意的是，所提出的贝叶斯深度学习框架与其他网络架构具有兼容性和可扩展性。在固定细胞和活细胞上的广泛实验表明，所提出的贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）即使在极低信噪比（SNR）条件下，也能显著提高结构化照明显微镜（SIM）的保真度，超越现有的最先进的SIM方法，同时量化其重建的两种良好校准的不确定性，即偶然不确定性（AleaU）和表观不确定性（EpisU），从而提高了深度SIM模型的透明度，并有助于防止不可靠的超分辨成像结果。

贝叶斯深度学习（BayesDL）量化的偶然不确定性（AleaU）和表观不确定性（EpisU）传达了不同的信息，因此服务于不同的目的。在常规生物成像实验中，用户可以首先检查表观不确定性（EpisU）图，以确定模型在已知类别（Known Category，KC）场景中是否正确地进行了泛化。我们已经证实了贝叶斯深度学习表观不确定性（EpisU）在识别由于错误泛化而导致的不可靠超分辨结果方面的有效性，这一效果在多种已知类别外（Known Category Outside，KIC）案例中是一致的。在成功检查表观不确定性（EpisU）之后，用户可以参考偶然不确定性（AleaU）来获取预测的超分辨分布，而不是当前DL-SIM方法提供的单一重建结果。基于分布信息的超分辨成像，还可以结合统计分析定制可信度和强度置信区间（CIs）。此外，贝叶斯深度学习的两种不确定性在常规超分辨成像中还显示出额外的多功能性。例如，偶然不确定性（AleaU）和表观不确定性（EpisU）都比SQUIRREL更适合作为超分辨成像误差的替代测量；偶然不确定性（AleaU）可用于数据采集评估，从而指导成像参数的优化；表观不确定性（EpisU）可用于基于生成对抗网络（GAN）的成像，以检测不可靠的幻觉。这些发现确立了贝叶斯深度学习不确定性融入日常超分辨成像实验的潜力。

尽管贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）表现令人印象深刻，但可以预见其进一步改进。最近发表的一项工作在模型训练过程中引入不确定性，以调节损失函数中的像素级注意力。受此启发，我们推测贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）量化的不确定性可以反过来进一步提升SIM重建。此外，我们已经证明了贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）在三维结构化照明显微镜（3D-SIM）成像中的优越性。在高信噪比（SNR）条件下，贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）优于其他DL-SIM方法，同时与传统的Open-3DSIM相当（补充图22）。即使在低信噪比（SNR）条件下，贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）仍然能够产生体面的超分辨结构化照明显微镜（SR-SIM）结果，且没有明显的伪影（补充图23）。其在三维结构化照明显微镜（3D-SIM）重建中不确定性量化的适用性也得到了验证（补充图22和23）。鉴于贝叶斯深度学习在单图像超分辨（SISR）和SIM成像中表现出的有效性，合理推测其积极影响可以扩展到其他超分辨显微镜类型（例如，定位显微镜和光片显微镜）。此外，为了应对在某些苛刻条件下获取足够的高质量真实图像（GT）数据过于繁琐甚至不切实际的挑战（例如，快速移动和光敏感的生物过程），将无监督学习或零样本学习技术与贝叶斯深度学习相结合也将具有价值。

此外，我们希望澄清贝叶斯深度学习（BayesDL）不确定性与NanoJ和rFRC中提出的类似概念之间的区别。首先，NanoJ和rFRC都是用于评估超分辨图像质量的工具，而贝叶斯深度学习旨在量化基于深度学习的图像重建中的不确定性。其次，NanoJ通过检测超分辨图像与衍射受限图像之间的差异来识别伪影，因此在超分辨尺度上无能为力。rFRC仅仅训练两个模型，并需要对输入数据进行两次采样以大致评估不确定性，实际上无法提供定量和全面的不确定性信息。相比之下，贝叶斯深度学习基于贝叶斯理论开发，通过分布近似和贝叶斯推断量化偶然不确定性（AleaU）和表观不确定性（EpisU）。第三，贝叶斯深度学习不确定性已被证明是良好校准的，而其他两种方法尚未实现。

总之，贝叶斯深度学习（BayesDL）相对于其他DL-SIM方法的主要优势在于其能够在已知类别（KC）场景中实现精确的分布信息超分辨成像，同时在已知类别外（KIC）场景中提醒用户注意错误的泛化，从而防止用户信任不可靠的结果。然而，贝叶斯深度学习（BayesDL）仍然存在一个局限性，即它只能识别各种已知类别外（KIC）场景，但不能直接有效地对KIC数据进行泛化。因此，我们认为开发一种能够在已知类别外（KIC）场景中有效泛化的通用算法是未来研究的一个有前景的方向。

总体而言，所提出的贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）有助于实现持续高保真的活细胞超分辨成像，并确保现代智能显微镜算法后端传递的亚衍射信息的可靠性。因此，它代表了促进DL-SIM模型可靠应用的一个显著进步，并为实用的基于深度学习的计算超分辨显微镜的发展奠定了基础。

方法

多模态结构化照明显微镜系统

多模态结构化照明显微镜系统是基于一台发明的荧光显微镜（Ti2E，Nikon）构建的。来自激光组合器的激发光包含三条激光束，分别为488 nm（Genesis-MX-SLM，Coherent）、560 nm（2RU-VFL-P-500-560，MPB Communications）和640 nm（LBX-640-500，Oxxius）。这些激光被准直后通过一个声光可调谐滤波器（AOTF，AOTFnC-400.650，AA Quanta Tech），该滤波器可以根据成像需求灵活选择激发波长并控制其功率和曝光时间。然后，从AOTF输出的激光光被扩展并送入一个照明图案生成器，该生成器由一个偏振分束器、一个消色差半波片和一个铁电空间光调制器（SLM，QXGA-3DM，Forth Dimension Display）组成。通过调整SLM上显示的光栅图案的周期和方向，可以生成不同的照明模式，例如1.41数值孔径（NA）的全内反射结构化照明显微镜（TIRF-SIM）和1.35 NA的3相×3方向的格里诺夫干涉（GI-SIM）。为了最大化图案对比度，使用由液晶单元（Meadowlark，LRC200）和四分之一波片组成的偏振旋转器来调整线性偏振，以保持s偏振。除了±1阶以外的高衍射阶被空间掩模滤除。接下来，激发光被传递到物镜（1.49 NA，Nikon）的后焦平面。由不同照明模式激发的多张原始图像通过相同的物镜收集，通过一个分色分束器（Chroma，ZT405/488/560/647tpc）分离，并最终由科学级互补金属氧化物半导体（sCMOS）相机（Hamamatsu，Orca Flash 4.0 v3）捕获。

细胞培养和制备

COS-7细胞（如图4和补充图21所示）在含有10%胎牛血清（FBS）和1%青霉素及链霉素的Dulbecco改良Eagle培养基（DMEM，Gibco）中培养，温度为37°C，二氧化碳浓度为5%。根据标准程序（Lipofectamine 3000，Invitrogen），细胞通过逆转录病毒系统感染以稳定表达Lifeact-mEmerald。转染后的细胞被接种到50 mg/mL胶原蛋白包被的盖玻片上，在成像前达到50%-70%的汇合度。

数据采集和预处理

本研究中所有相关数据均使用自制的多模态结构化照明显微镜系统采集。为了验证贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）的优越性，我们使用了我们之前发表的BioSR数据集。对于每种样本类型，至少采集了50个不同感兴趣区域（ROIs）的原始图像，图像大小为502×502×9（高度×宽度×帧数）。每个ROI以恒定的1毫秒曝光时间依次捕获，但至少有9种不同的激发功率水平，以覆盖各种荧光信噪比（SNR）水平（平均光子计数范围从0到超过600）。最高信噪比水平的原始图像随后通过传统结构化照明显微镜算法重建，以作为大小为1004×1004的相应真实结构化照明显微镜（GT-SIM）图像。为了便于模型训练，应进行数据预处理步骤。我们首先从所有原始图像中减去平均相机背景。然后采用滚动球法去除焦外荧光并提高GT-SIM图像的对比度。此外，为了将荧光强度拉伸至一个共同范围，对原始图像和GT-SIM图像均进行了百分位数归一化处理：

统计分析和评估方法

可信度评估。贝叶斯深度学习结构化照明显微镜（BayesDL-SIM）的分布信息超分辨成像的另一个用途是，它能够对重建的超分辨结构化照明显微镜（SR-SIM）图像进行可信度评估。偶然不确定性（AleaU）是可信度的直接度量，但它随着强度的增加而增长。这里我们提出了一种可信度评估方法。首先，用户需要指定一个错误率容忍度（δ），超过此容忍度的超分辨结果被认为是不可信的。也就是说，错误率低于容忍度的重建结果被认为是用户可以使用的。然后，计算在指定容忍度内所有可能强度的累积概率，作为适当的可信度度量：

请注意，计算出的可信度是逐像素估计的，范围从0到1，值越高表示结果的可信度越好。

模型校准。模型校准通过测量预测概率与观察频率之间的一致性，从统计学上评估预测超分辨分布的精确度。给定任何概率κ，我们首先按照方程（6）计算其对应的置信区间CI(κ)。然后我们统计GT-SIM像素的荧光强度落在其对应置信区间CI(κ)内的频率κ'。通过逐渐调整概率κ从0到1，可以充分描绘概率与频率之间的相关性，并随后构成校准图。直观上，超分辨分布的预测越准确，与校准图中的理想校准线κ = κ'的一致性就越高。此外，我们定义了校准误差的度量，即计算概率与频率之间的平均绝对误差（MAE）。校准误差越小，模型校准得越好。

稀疏化图。稀疏化图用于定量和明确地描绘数据实体（例如不确定性与误差）之间的关系。具体来说，它首先根据预定义的排序标准将重建的超分辨结构化照明显微镜（SR-SIM）图像的所有像素按降序排序，然后逐渐移除一部分像素，并计算剩余像素相对于GT-SIM的MAE。我们分别采用SQUIRREL误差、偶然不确定性（AleaU）和表观不确定性（EpisU）作为排序标准。同时，为了参考，还展示了以真实超分辨误差为排序标准的“预言家”（oracle）。稀疏化图越接近预言家，其对应的排序标准与真实超分辨误差的相关性就越好。

FG-AleaU和FG-EpisU。贝叶斯深度学习（BayesDL）为其重建的超分辨（SR）图像的每个像素量化不确定性。然而，引起用户兴趣的是前景（FG）像素而不是背景像素。为此，我们提出了两个度量标准，即FG-AleaU和FG-EpisU，以表征FG像素的不确定性。为了简化符号，这里我们将重建的超分辨图像称为，并将AleaU和EpisU都称为σ。FG-AleaU和FG-EpisU的计算方法如下三个步骤：(1) 对超分辨图像执行如方程(5)所示的百分位数归一化；(2) 使用Otsu分割方法对归一化的超分辨图像进行分割，然后获得其对应的FG掩模（记为M）；(3) 根据FG掩模M中非零元素提供的索引，从不确定性图中提取FG像素的不确定性（即FG-AleaU或FG-EpisU）。

其他评估指标。为了定量评估超分辨图像的保真度，我们计算了常用的峰值信噪比（PSNR）和结构相似性（SSIM）指标，这些指标是在超分辨图像和真实图像（GT-SIM）之间计算的。此外，我们还计算了归一化均方根误差（NRMSE），其定义为：

其中 B 是像素数量， 分别表示最大值函数和最小值函数。在超分辨（SR）分辨率评估方面，我们采用去相关分析来从去相关函数的局部最大值估计最高的超分辨频率。为了定量测量原始结构化照明显微镜（SIM）图像的荧光信噪比（SNR）水平，我们使用平均光子计数的度量。平均光子计数度量的计算详见补充注释7。此外，我们通过首先使用Otsu算法对肌动蛋白图像进行分割，并将结果的二值分割图转换为8位类型，来测量不同肌动蛋白丝的长度。然后我们使用ImageJ的插件AnalyzeSkeleton（2D/3D）来提取各种骨架信息，包括骨架化的肌动蛋白长度。

原文：https://www.nature.com/articles/s41467-025-60093-w