面向LPBF过程监测的物理引导多源数据融合模型：从数据生成到熔化状态识别

随着传感器技术的进步，激光粉末床熔融的原位监测已成为研究热点，为缺陷检测、反馈控制和熔池动态行为研究奠定了基础。然而当前相关研究仍存在以下空白：

尚缺乏针对激光粉末床熔融过程监测的低成本智能监测方案。数据生成技术在该领域的应用仍处于早期阶段，特别是在物理引导的深度学习研究方面存在显著差距。

此外，现有研究在将多传感器融合与物理信息机器学习方法集成用于激光粉末床熔融方面仍存在相当大的差距。一方面，当前的多传感器融合方法缺乏对成对信号交互和全局特征的高效建模。另一方面，物理知识与多源数据之间的异质特征融合尚未得到有效探索。

来自中国科学院合肥物质科学研究院中国科学技术大学中航西安飞机工业集团股份有限公司武汉科技大学的研究团队，提出了一种用于低成本激光粉末床熔融监测的物理引导多源数据融合方法，涵盖从数据生成到熔化状态识别的完整工作流程。相关研究论文发表于Additive Manufacturing 期刊。本期谷·专栏文章揭示了该成果的主要创新点。

A physics-guided multi-source data fusion model for LPBF process monitoring: From data generation to melting state recognition

面向LPBF过程监测的物理引导多源数据融合模型：从数据生成到熔化状态识别

作者：毛杨坤，颜家维，林昕，蔡志凯，朱锟鹏

通讯作者：朱锟鹏(zhukp@iamt.ac.cn)

摘要

熔池状态监测是解析激光粉末床熔融（LPBF）动态演化规律、识别熔化行为及预测成形缺陷的核心技术途径。现有研究多依托熔池图像与深度学习算法开展智能监测，鲜有工作通过多源数据融合实现熔池信号的低成本数据生成，尤其缺乏物理先验与数据驱动相结合的系统性探索。

本文构建了一种物理引导的多源数据融合模型，用于熔池图像序列的高精度生成。测试结果显示，生成熔池图像的结构相似性指数（SSIM）为0.839，峰值信噪比（PSNR）为27.61，重构形态偏差低至9.13%。将该模型迁移至多源信号融合监测任务，以生成熔池数据与原位多源信号为输入，孔隙度等级分类精度可达90.36%。

结果表明，该模型可实现近红外（NIR）、光电二极管与可见光（VL）信号的浅层成对信息交互及深层全局特征聚合；通过引入物理引导多模态融合分支，以数值模拟熔池序列为约束，在深层网络中实现多源特征的动态融合与物理先验显式嵌入，完成高保真熔池图像重构。此外，将生成熔池数据作为先验信息实现任务迁移，可提升孔隙度识别性能，为LPBF过程监测的数据生成应用与多源信号表征增强提供新路径。

未来将拓展该模型在不同构件几何与材料体系下的适用性。

主要内容

1.方法框架

图1为本研究的总体框架。本文首先搭建集成近红外传感器、光电二极管、可见光相机与高速相机的多传感器监测平台。随后，将原始熔池图像重构为熔池特征序列；基于三维卷积变分自编码器（3D-CVAE）对熔池特征序列进行降维，获取低维隐向量表征。

在此基础上，提出物理引导多源数据融合模型（PG-MSDF），实现熔池隐向量的精准预测。

该模型集成了改进型跨分支注意力模块（CB-ATTM）与物理引导深度特征融合模块（PG-DFFM）。在PG-DFFM中，采用解析传热模型获取熔池模拟数据，并通过3D-CNN与 CB-ATTM完成机理知识的特征提取与编码。

图1 方法总体框架

2.熔池特征序列编码

图2展示了本研究对于熔池图像及多源信号的数据预处理过程。以指定感兴趣区域（ROI）为对象开展熔池图像生成，将单格晶胞熔化区划分为4个2mm×2mm的ROI。采集ROI内全部熔池图像，包含部分熔池落入区域的样本，以覆盖重熔与再凝固行为带来的状态变化。为保证边界信息完整性，近红外、光电二极管与可见光信号采集窗口设为ROI尺寸的1.08倍。基于熔池量化特征对图像进行排序，构建去时序化的熔池特征序列。本研究以熔池面积为排序依据，重构数据内在逻辑，表征熔化区内熔池的稳定性、收缩与扩张等分布规律，反映热输入与能量集聚演化趋势。为统一深度学习输入维度，对各ROI序列均匀采样至32帧图像。

图2. 熔池特征序列构建

3.物理导引多源数据融合模型

如图3所示，PG-MSDF 模型采用三个并行分支，分别对近红外（NIR）、光电二极管及可见光（VL）图像进行特征提取，并分别针对浅层结构与深层结构设计了专用的特征融合模块。在浅层结构中，设计了跨分支注意力模块（CB‑ATTM）以实现多源信息的交互。在深层结构中，提出了物理引导的数据融合模块（PG‑DFFM），用于完成多源特征的最终融合。该模块由交叉注意力融合模块（CFM）、深度融合模块（DFM）及物理引导分支（PG‑branch）构成。

图3 多源信号融合模型架构

4.从数据生成到低成本熔融监测

将 PG-MSDF 模型迁移至孔隙度等级分类任务，如图4所示。由此，将用于熔池特征序列生成的网络定义为生成器，用于孔隙分类的网络定义为分类器。分类器借助生成器将多源低成本信号转化为与熔化状态强相关的熔池特征，进而实现成形质量判别，验证多源数据融合模型在过程监测中的可扩展性，为 LPBF 低成本在线监测提供新范式。

图4 孔隙度识别模型

5.实验结果展示

5.1 熔池图像生成

图5展示了PG-MSDF模型的典型生成结果。为直观对比生成图像与真实图像的一致性，从生成结果中提取熔池轮廓并与真实熔池匹配，以此验证熔池形貌生成精度。结果表明，二者轮廓高度重合，说明模型可基于低成本多源信号实现高质量熔池图像生成。同时，原图中的飞溅与羽流信息被弱化，表明模型已有效聚焦熔池核心特征的提取与重构，也体现了采用自编码器（AE）作为上游模型的必要性：通过自编码器对特征进行无监督降维压缩，可有效抑制飞溅、羽流等噪声，在保留熔池完整信息的同时降低学习空间复杂度。此外，本研究采用SSIM）、PSNR及熔池面积特征等指标对模型性能进行定量评价。表1展示了不同信号源组合输入下的模型性能对比结果，表2展示了PG-MSDF模型消融实验结果。

图5. 图像生成结果

表1 不同信号源组合输入下的模型性能对比

表2 模型消融实验对比结果

5.2 孔隙度识别

本节分析PG-MSDF在熔化状态分类中的性能，探究生成熔池图像序列的应用场景，体现数据生成在LPBF监测中的价值。通过引入生成的熔池特征序列作为补充特征输入，提升模型监测效果。

该任务中，PG-MSDF分类器结合低成本信号与生成的熔池数据，识别工件孔隙度等级（低、中、高，对应匙孔或未熔合缺陷）。表3对比两种输入方式的分类性能：(1)仅使用低成本多源信号；(2)加入生成的熔池特征序列。图6通过混淆矩阵进一步对比二者的孔隙度分类效果。

结果表明，引入生成熔池特征序列可有效提升预测精度，准确识别匙孔与未熔合下的孔隙等级，最终分类准确率达90%以上，精确率与召回率分别提升至88.49%、90.24%，F1分数达0.8922。这为工业化高效低成本LPBF监测提供可行方案：模型训练阶段使用高成本熔池图像数据，部署阶段仅采用可见光、近红外、光电二极管等低成本信号。

表3 孔隙度识别准确率

图6 分类结果混淆矩阵

小结

本研究提出了一种面向LPBF低成本过程监测的物理引导多源数据融合方法，覆盖熔池数据生成至熔化状态识别的全流程，主要创新点如下：

(1) 针对多源数据融合存在的浅层拼接、全局表征不足等问题，提出CB-ATTM与DFFM模块，在浅层实现成对数据高效交互与自适应赋权，在深层通过查询矩阵编码、特征融合与差分运算实现全局特征深度聚合，提升多源特征提取与融合能力。

(2) 提出物理引导的熔池图像序列生成方法，通过PG-branch将数值模拟熔池信息转化为可学习权重，实现物理知识与监测数据的异质融合，为数据生成施加物理一致性约束，完成高保真熔池图像重构。

(3) 构建LPBF物理引导多任务监测框架，将熔池生成模型高效迁移至缺陷检测任务，融合生成数据与低成本原位信号，显著提升缺陷识别精度，为LPBF过程低成本、规模化、高精度在线监测提供理论支撑与技术方案。

▌三维科学 l 无限可能

2509957133@qq.com

www.3dsciencevalley.com

点亮“♥️”让朋友们知道您在看