传感技术和基于人工智能的方法在激光焊接实时监测中的应用（1）

长三角G60激光联盟导读

本文综述了近十年来激光焊接实时监测的研究成果和进展。本文为第一部分。

摘要

激光焊接已广泛应用于各种行业。有效的实时监控技术对于提高焊接效率和保证接头产品质量至关重要。本文综述了近十年来激光焊接实时监测的研究成果和进展。首先，详细回顾和讨论了用于焊接质量监测的各种传感技术。然后，总结了基于人工智能的先进技术，这些技术用于实现各种监控目标，如工艺参数优化、焊缝跟踪、焊缝缺陷分类和工艺反馈控制。最后，讨论了基于实时智能监测的潜在研究问题和挑战，如智能多传感器信号采集平台、数据深度融合方法和自适应控制技术。本基础工作旨在回顾激光焊接监测的研究进展，为后续研究提供基础。

1，介绍

激光焊接是一种高效的连接技术，具有许多优点，如更高的生产率、灵活性和有效性、焊缝深度、更高的焊接速度和功率密度。这就是为什么它在汽车、造船、航空、微电子和其他行业中得到越来越广泛的应用。焊接过程中，焊接质量可能受到各种因素的影响，如材料的内部缺陷和复杂的制造环境。传统的焊接质量离线测试在时间、材料和生产率方面成本高昂。因此，提出了几种实时焊接质量监控解决方案，以提供实时信息，控制焊接过程和焊接质量。

具有不同入射角的重叠接头的表面形貌（单板厚度为0.8mm）。

在激光焊接过程中，小孔、熔池、等离子体和飞溅物包含多种焊接信号，如声信号、光信号和热信号等，这些信号与焊接质量密切相关。因此，基于传感器的实时监控系统可以有效地获得焊接区域的焊接信号。视觉传感器，如电荷耦合器件（CCD）、互补金属氧化物半导体（CMOS）和带有特殊滤光片的高速摄像机用于捕捉小孔、熔池、飞溅物和等离子体的图像。光谱仪和光电二极管用于收集包括可见光（VIS）、红外光（IR）和紫外光（UV）在内的光信号。可以利用红外摄像机、近红外（NIR）摄像机和高温计来收集热信号。复杂的监控系统通常由上述传感器组成，将更全面地收集焊接信号。

根据不同的监测目标，有多种方法来反映焊接产品的质量。例如，为了实现理想的焊缝熔深，提取的信号数据将用于优化焊接工艺参数或实时预测焊缝熔深。为了减少焊接缺陷，已广泛研究焊接缺陷的在线或离线监测.焊缝跟踪技术是确保焊接过程中焊接间隙中心和激光束点一致的有效方法。焊接过程反馈控制技术可有效避免不确定干扰因素对焊接质量的影响。依靠可靠的监测设备可以获得准确的信号，这是有效监测的基础。先进的数据分析方法可以显著提高监测能力。

近年来，人工智能（AI），特别是机器学习（ML）已逐渐应用于激光焊接监控。在焊接监测的各个方面都取得了良好的结果，如焊接信号数据的深度挖掘、焊缝形态的预测和焊接缺陷的分类。因此，先进的监控设备与有效的基于人工智能的方法相结合，在激光焊接实时监控方面取得了巨大成就。深度学习（DL）的应用近年来才刚刚开始，如何充分利用数据挖掘和自更新学习能力的优点是缩短数据处理时间和提高监测精度的关键问题。

焊接熔池的熔透状态有:(a)两类和(b)三类方法。

本文详细介绍了激光焊接实时监测的概况。图1显示了本文的内容结构，回顾内容可分为两个重要部分。第一部分（包括第2节和第3节）首先详细介绍了激光焊接监控过程。然后，对一些常用的监测传感器和方法、一些新的监测技术和多传感器融合方法分别进行了分类和总结。第二部分（包括第4节）根据焊缝特征预测、缺陷分类、自适应控制等不同的监控目标，综述了多种基于人工智能的方法。最后，讨论了焊接过程智能监控的潜在未来研究工作和挑战。本文旨在通过回顾过去十年的研究趋势，为后续研究提供基础。

图1 本文综述结构和激光焊接监控流程图。

本文件组织如下。为了更好地理解实时监控过程，第2节介绍了激光焊接过程。接下来，第3节讨论了激光焊接监控中的传感器和方法。第4节讨论了用于实现不同目标的方法。最后，第5节给出了潜在研究问题的重点，第6节总结了本文。

2，了解激光焊接监控过程

激光焊接实时监控可以有效减少各种不确定因素对焊接质量的负面影响。监测过程可分为三个不同部分：预处理扫描、过程中监测和过程后诊断。焊接监控的不同阶段如图2所示。预处理扫描[主要关注焊缝跟踪问题，扫描工件之间的接头间隙，以确保激光束点聚焦在间隙中心，以获得可靠的接头。过程监控非常关注通过使用各种设备对焊接区的焊接特性进行实时监控，如小孔、熔池、等离子和飞溅等。通过分析这些特征的动态变化，可以通过有效的基于人工智能的方法预测和调整焊缝质量。后处理诊断涉及缺陷诊断问题。气孔、裂纹、飞溅、表面塌陷、底部填充等是焊缝产品的常见缺陷，是焊缝质量评估的关键指标。

图2 激光焊接示意图和不同监测阶段的定义。

图3 过程前、过程中和过程后监测系统以及动力传动系齿轮的监测结果。

3，不同的传感技术

本节详细讨论了一些常用的传感器和新的监测方法，以及最广泛使用的多传感器融合监测技术，以更好地了解焊接信号的采集过程。监测传感器和技术的详细分类如图4所示。

图4 传感器和技术的分类。

3.1.监测中的基本传感器

3.1.1.声发射信号

当等离子体从锁孔喷出时，其中的压力波动会产生声学信号，该信号可以通过使用麦克风或谐振传感器进行非接触测量。由于成本低廉且操作简单，声学监测方法获得了极大关注。Huang等人研究了焊缝熔深与声信号之间的关系。定义并提取声压偏差和频带功率等声学特征。然后，通过应用神经网络算法和多元回归分析方法，将这些特征用于表征焊缝熔深。结果表明，该算法能有效区分全穿透和部分穿透。然而，声信号容易受到环境噪声的影响，这阻碍了声信号监测的输出。

实验装置和多传感器系统。

激光焊接过程中产生的超声波信号在焊缝内部缺陷的无损检测（NDI）中具有重要意义。Passini等人研究了超声波相控阵检测技术，以检测薄铝板中的焊接缺陷。将该检查方法对焊缝质量的检测结果与X射线照相和金相检查进行了比较。结果表明，该方法能够识别分组孔隙度的存在。电磁声换能器（EMAT）是NDI领域出现的一项新技术，它使用电磁耦合来激励和接收超声波。EMAT方法比传统的超声检测技术更精确。激光电磁超声（LEU）技术可用于测量焊缝的熔深。Yang等人根据不同的穿透深度，研究了LEU信号中出现的兰姆波的透射系数。通过建立人工神经网络模型，利用LEU信号的传输系数和能量精确预测焊缝熔深。由于超声波通过熔池、固相和熔池附近固相的时间不同，Mizota等人开发了一种超声波相控阵系统，通过计算系统接收的时间来测量熔池深度。图5是该检查方法的详细示意图。

图5 使用超声相控阵系统测量熔池深度的示意图。

3.1.2.光信号

光信号监测主要由光辐射监测和光视觉监测组成。光辐射信号主要来自激光束和焊接区域。熔池、飞溅物和等离子体等都发出强烈的光辐射。例如，紫外线（UV）和可见光（VIS）辐射来自等离子体内的原子跃迁和韧致辐射，而红外辐射则从热等离子体和熔池中发射。光辐射信号可以根据不同的波长分为两类。第一类是紫外和可见光辐射，波长为0.3μm至0.7μm。另一种类型是1.1μm至1.6μm的红外辐射。光谱仪和光电二极管传感器可用于收集光辐射信号。

Eriksson等人利用三个光电二极管传感器获得关于熔池的热（T信号）、羽流辐射（P信号）和激光束的反射（R信号）辐射的独立信息。R信号的波长约为1.0μm，详细的光辐射波段如图6（a）所示，图6（b）是该监测系统的示意图。Sibillano的团队研究了等离子体羽流发出的光辐射。利用基于光谱传感器的系统来收集该信号，该监测系统在市场上可用。他们还利用配备CCD探测器阵列的光谱仪系统研究了等离子体电子温度与焊缝熔深之间的相关性。Zaeh等人对辐射发射的起源提供了新的见解。结果表明，合金元素影响焊缝的力学性能。通过大量实验，Mrna等人证明了熔深与光强振荡频率特征之间的相关性，这可以作为开发优化和控制焊接工艺的通用方法的基础。Bono等人利用基于光学的监测方法来发现具有不同焊接特征和缺陷的光电二极管信号之间的关系。他们还研究了一种基于激光干涉测量的新型监测方法。这种方法可以实时测量钥匙孔的深度。实验证实了两种方法的有效性。

图6 该监测方法的监测光谱范围和示意图。

光学视觉监测方法目前被广泛使用，因为该方法可以获得大量可靠的数据。小孔、熔池、飞溅物和等离子体羽流等的形态特征。在激光焊接过程中不断变化。在焊接过程中产生的这些动态信号与焊接质量的波动密切相关。Gao等人定量描述了熔池形态特征与激光焊接过程稳定性之间的关系，这为熔池行为的实时监控提供了基本理解。Zhang等人分析了小孔和等离子体羽流的时域和频域特征。研究结果为激光焊接的在线检测提供了依据。Kim等利用图像处理方法研究了不同焊接条件下锁孔的动态行为。Tenner等人通过连接玻璃板，以非常高的精度测量了锁孔内流体流动的速度和方向。结果表明，流体流动与激光功率、进给速度和焊接间隙有关。

CCD摄像机、高速摄像机和CMSO摄像机是用于在激光焊接期间捕获等离子体或熔池等图像的常用传感器，图7显示了视觉监控中传感器的不同布置。为了减少强光辐射，应用了多个滤光器和辅助光源照明系统。Luo等人]提出了一种获得熔池边缘的有用技术。CMOS摄像机用于捕获熔池的动态图像，并使用辅助绿色激光照射熔池。验证实验证明了该监测方法的有效性。Zhang等人使用CCD摄像机拍摄熔池和锁孔的动态图像。越来越多的研究人员选择多个摄像机传感器来观察焊接区域。通过从不同角度进行监测，可以获得全面的信息，以供今后的研究。Wang等人使用两台高速摄像机拍摄瞬时视觉现象，如金属蒸汽和飞溅物，同时监控锁孔底面，以评估锁孔状态。You等人使用两台高速摄像机收集近红外和UV/VIS波段中的飞溅图像。发现UV/VIS波段更适合于监测飞溅。Chen等人建立了一个结合四个CCD摄像机的监控系统。在静态和动态情况下研究了监测效果。然而，摄像机数量的增加将导致成本的增加。Fan等人设计了一种三光路视觉传感器系统，用于同时从三个方向监测熔池。该系统降低了成本，取得了良好的效果。Liu等人在锁孔完全穿透时，从焊接工件的下侧获取了监控图像。

图7 不同的视觉监控系统。（a）带有辅助光源的同轴监测系统。（b）具有两个高速摄像机的熔体速度测量系统[105]。（c）顶面和底面是同时观测系统。

3.1.3.热信号

激光焊接是一种热制造工艺，材料通过激光束熔化。焊接区的热辐射信号非常强，特别是在键孔中，由熔融金属和高温金属蒸汽形成的熔池中。

图8（a）显示了各种温度下的黑体发射光谱。发射的总辐射取决于温度，温度在焊接区非常高，热辐射非常强。高温计和红外摄像机是获取热信号的常用传感器。高温计的优点是它更便宜，易于组装。Yamazaki等人使用红外双色高温计测量金属活性气体电弧（MAG）焊接过程中金属液滴的温度。基于红外光谱研究了液滴表面的温度分布。Chen等人使用高速红外摄像机获取熔池及其邻近区域的红外图像。该高速成像系统能够准确地提取熔池的形状特征，可以用来反映焊缝质量的信息。结果表明，熔池的这些特性可以有效地反映焊接过程的稳定性。等离子体羽流还包含关于热信号的信息。Chmekuckova等人计算了实际焊接条件下等离子体羽流中耦合金属离子发射线的相对强度，以建立焊接区横截面的数值模拟模型，以显示激光功率增加时的温度分布。

图8 基于近红外摄像机的在线诊断。

3.2.监测方法

3.2.1.传统监测方法

传统的监测方法应用于一些常见传感器，以监测同轴或近轴焊接过程。两种方法都有各自的优点和不足。同轴监测方法可通过在激光传播路径中安装光谱仪从焊接区正上方进行监测。所获得的光和热信号是稳定的，并且干扰较小。然而，监测传感器的安装很复杂，这种方法不够灵活。反射的激光辐射和等离子体也可能影响小孔和熔池的观察。近轴监测的优点在于，传感器和焊接区域之间的监测距离和角度易于调整。通过反复校准和比较，可以找到并记录最佳监测位置。光学和热信号可以同时同轴和同轴监测。用于声信号采集的麦克风和用于热信号检测的高温计通常是近轴组装的。多传感器融合技术和一些新的监测方法通常基于这些传统的监测方法。

激光喷嘴干涉的红外图像。

3.2.2.新的监测方法

一些焊接特征在焊接过程中难以获得，但它们与焊接质量密切相关。例如，键孔的深度与焊缝的穿透深度直接相关。如果能实时获得小孔深度，将有助于判断焊缝熔深。提出了一些新的监测方法，即X射线成像技术、在线相干成像（ICI）、磁光成像（MOI），并取得了良好的结果。X射线是一种有效的无损检测技术，已应用于许多领域，即医学、激光焊接实时监测和土壤科学等。现场X射线视频成像技术可在焊接过程中获得有关锁孔几何结构的时间和空间分辨率信息。X射线技术还可用于以高空间和高时间分辨率诊断焊缝内部缺陷。Yan等人使用X射线衍射系统研究了焊缝的微观结构和机械性能。通过显微镜观察获得的相组成，以研究接头的微观结构特征。X射线衍射系统还用于测量焊缝中的残余应力分布。

Norris等人通过分析工艺参数，包括激光功率、焊接速度和激光束尺寸，研究了微尺度锁孔模式焊接中气孔的形成过程。采用X射线照相法获得孔隙率特征，并将结果与金相分析进行对比。光学相干层析成像（OCT）是一种用于自动激光焊接的创新传感器三维测量技术。它提供了一种在焊接过程中实时检查锁孔深度的工业解决方案。Ackermann等人开发了一种基于傅立叶域OCT的在线监测设备，以在焊缝成形过程中提取断层几何测量数据。ICI监控技术将OCT的理念应用于激光加工计量领域。ICI系统的示意图如图9（a）所示。成像光束与激光光束同轴传输，使得成像光束可以到达锁孔底部以测量深度。图9（b）是焊缝熔深轮廓和测量的键孔深度（绿点）的拟合图。可以看出，由绿点组成的曲线与焊缝熔深一致。这种新技术可以获得所需的数据精度，并保证监测过程的灵活性、稳定性和可追溯性，已广泛应用于焊接过程监测、突破检测和前视组织消融观察等。Gao等人使用MOI技术监测了微间隙焊接（间隙宽度<0.05 mm）过程。MOI方法基于磁感应原理和法拉第旋转效应。在实验中，使用磁激励装置对工件进行磁化，并使用磁光传感器检测磁场分布，以便进一步研究。

图9 （a）ICI系统的示意图，（b）ICI测量深度（绿点）。

3.2.3.多传感器融合技术

激光焊接过程非常复杂，其中熔体和蒸汽流动、传热、相变、激光束与等离子体的相互作用以及激光束的多次反射重合。上述许多焊接信号与焊接质量有关，只有一种类型的监测传感器或方法]。焊接情况不能充分反映。因此，提出的多传感器融合技术可以更有效和全面地监测焊接过程。因为这种监测方法可以充分利用各种信号传感器的优点。视觉传感器可以提供丰富的焊接区域信息，已成为多传感器融合技术的核心传感器。所建立的监控系统通常包括一个或多个视觉传感器。例如，与视觉传感器相结合的光学传感器、与高速摄像机相结合的X射线系统、和视觉传感器相组合的声音传感器以及其他组合方法。Chen等人应用电弧传感器和CCD摄像机同时获得电子信号和熔池图像。该方法可以提取多个特征，更准确地预测熔池背面宽度。

Boley等人研究了焊接过程中熔池的三维形状和毛细管重建方法。结合三种不同的诊断方法，包括X射线系统、光学视频传感器和金相截面观察，以获得焊接区的三维形状数据。Harooni等人使用玻尔兹曼作图法测量了检测到的光谱信号的电子温度，并研究了其与孔隙形成的相关性。You等人应用两个光电二极管和两个视觉传感器同时监测激光焊接过程。应用信号处理方法和图像处理方法对获得的信号进行分析，提取并融合五个焊接特征，以更精确地描述焊接过程。图10是用于典型多传感器融合技术的传感器布置的示意图。使用的传感设备包括两个光电二极管、一个光谱仪、两个视觉摄像机和一个X射线传感系统。结果表明，该监测系统可以采集准确有效的焊接信号，以更全面地分析和建模激光焊接过程。

图10 包括六个不同传感器的多传感系统。

来源：Application of sensing techniques and artificial intelligence-based methods to laser welding real-time monitoring: A critical review of recent literature, Journal of Manufacturing Systems, doi.org/10.1016/j.jmsy.2020.07.021

参考文献：J. Stavridis, A. Papacharalampopoulos, P. Stavropoulos, Quality assessment in laser welding: a critical review, Int J Adv Manuf Technol, 94 (2017), pp. 1825-1847, 10.1007/s00170-017-0461-4