南昌大学在大景深光声显微成像方面取得突破

图1.三维孪生多级特征卷积神经网络架构与多焦点图像融合流程图

光声显微成像作为一种融合光学高对比度与超声深层穿透能力的新兴生物医学成像技术，近年来在微血管成像、肿瘤早期诊断、神经活动监测等领域展现出巨大潜力。其中，光学分辨率光声显微成像(Optical-Resolution PAM, OR-PAM)可实现亚微米至几微米的横向分辨率，适用于细胞乃至亚细胞尺度的精细观测。然而，其高分辨率依赖于强聚焦激光束，而这导致成像景深极为有限——通常仅在几十微米范围内保持清晰，一旦偏离焦平面，图像分辨率迅速下降，严重限制对具有复杂三维结构(如血管网络、神经束等)的完整高质量成像。

目前扩展OR-PAM景深的主流方法多依赖硬件升级，如采用贝塞尔光束或双模光束切换方案。尽管这些方法在一定程度上延展了景深，却往往引入旁瓣噪声、牺牲信噪比，或显著增加系统复杂性和成本。相比之下，基于图像融合的软件策略提供了一条低成本、高兼容、易部署的技术路径。然而，传统多焦点融合方法，如基于拉普拉斯算子的3D融合方法依赖手工设计特征提取算法，计算效率较低、鲁棒性较差，缺乏在真实实验数据上的验证。

为突破上述瓶颈，南昌大学信息工程学院成像与视觉表示实验室研究团队提出了一种全新的三维光声体数据融合框架——三维孪生多级特征卷积神经网络(3D Siamese Multi-level Features CNN, 3DSMFCNN)。该成果以“Three-Dimensional Siamese Multi-Level Features Neural Network Based 3D Fusion Improves the Depth of Field in Photoacoustic Microscopy”为题，发表于生物光子学国际知名期刊《Journal of Biophotonics》。

技术创新：

研究团队首次将三维孪生网络架构引入多焦点光声图像融合任务。如图1所示，3DSMFCNN通过两条权重共享的子网络，同步处理来自不同焦面的三维图像块，提取多级特征信息，引入特征相减操作强化聚焦差异，并通过Softmax分类器，对每对图像块的进行聚焦分类，生成初始决策图(Initial Decision Map, IDM)。

为克服噪声干扰导致的错误分类，团队进一步设计了一致性验证与高斯平滑优化策略，有效修正了错误分类的孤立区块，并减小融合边界处的块状伪影，最终生成平滑连续的最终决策图(Final Decision Map, FDM)。基于FDM，通过体素级加权平均融合，生成大景深、高分辨率的光声显微图像。

实验验证：

研究团队在仿真纤维、仿真血管和真实钨丝样本上进行实验验证。对多焦点仿真纤维进行融合实验，实验结果如图2所示。通过所提方法能将OR-PAM的景深从79.7 µm显著扩展至151.4 µm，提升达1.88倍，同时完整保留了原焦平面的横向分辨率。

图2.三维多焦点仿真纤维图像融合实验结果

对不同噪声条件下三维多焦点血管图像进行融合实验，实验结果如图3所示。即使在信噪比SNR低至15 dB，信号几乎被噪声大幅掩盖的极端条件下，模型仍能准确识别聚焦区域，融合图像清晰保留微细血管结构，展现出卓越的抗噪鲁棒性。

图3.三维多焦点仿真血管图像融合实验结果

对直径为20μm和50μm钨丝样本分别进行融合实验，实验结果如图4所示。对比融合前后图像可明显观察到，原先离焦区域的成像分辨率显著提升，同时图像的整体景深范围也得到有效扩展，充分验证了方法在实际成像系统中的适用性与泛化能力。

图4.三维多焦点真实钨丝图像融合实验结果

应用价值：

所提3DSMFCNN方法无需对现有OR-PAM硬件进行任何改造，仅通过后处理软件算法即可实现景深大幅扩展，极大降低了技术门槛与使用成本。该框架可直接部署于现有光声显微系统，尤其适用于资源受限的实验室与临床前沿研究场景。该方法还为复杂三维生物组织(如脑微循环、肿瘤血管网)的高分辨、大范围成像提供了可靠工具，有望提升早期微小病灶的检出率与量化精度，推动光声成像在精准医疗、药物评估等领域的临床转化。

模型性能与效率

模型在训练集上准确率达98%，验证集稳定在94%–95%。在配备RTX 3060 GPU的普通计算平台上，融合一对大小61×101×101多焦点三维图像数据仅需38秒，其中聚焦区域识别占25.5秒，具备良好的实时性潜力。团队还通过三维数据增强(随机旋转、镜像)与加权交叉熵损失函数，有效提升了模型在多噪声、多样本场景下的泛化能力。

论文共同第一作者为南昌大学游博康、刘国彬、何家欢，通讯作者为刘且根教授与宋贤林副教授。该研究得到了国家自然科学基金、江西省自然科学基金、国家科技部重点研发计划等多项项目支持。