综述：探测技术和人工智能在激光焊接实时监测中的应用（一）

江苏激光联盟导读：

对激光焊接实时监测研究中近十年的研究成果进行了回顾。对焊接前、焊接过程中和焊接后的监测进行了总结。对常用的探测器和监控技术进行了分类并依据不同的监控信号进行了回顾；依据不同的监控目的对以人工智能（AI）技术为基础的监控进行了分析；在智能制造过程中未来的激光焊接在线监测技术进行了展望。

激光焊接技术广泛的应用于各种工业环境中。有效的在线监测技术对提高焊接效率和保证焊接质量是至关重要的。在本文中，对近十年来激光焊接过程中的在线监测方面的研究进展和取得的进步给予了详细的回顾。并且对基于人工智能的先进技术进行了总结，使用线监控时所发挥出的效用也进行了介绍，如在工艺参数优化、焊缝跟踪、焊接缺陷的分类、过程反馈等。最后，基于实时智能监控所面临的潜在的研究问题和挑战也进行了讨论，如智能多信号的获取平台、数据深度融合和自适应控制技术。综述的目的是综述激光焊接监测中的研究进展和为后续的研究提供基础。

1.引言

激光焊接是一种有效地连接技术，该技术存在诸多的优点，如产能高、柔性好、效果好、焊缝深、焊接速度快以及焊接功率密度高等。这正是激光焊接技术在汽车、航空航天、造船、航空航天、微电子以及其他工业中获得广泛应用的原因。焊接质量的问题可以在焊接过程中的多个因数中产生，如材料的内部缺陷和复杂的制造环境均会产生焊接质量问题。传统的焊接质量的离线检查存在耗时、浪费材料和影响产能的问题。因此，人们发展了多种实时焊接质量监控手段来提供焊接的实时信息以控制焊接工艺和确保焊接质量。在激光焊接时，匙孔、熔池、等离子体以及飞溅，均包含着许多焊接信号，如声音信号、光信号以及热信号等。这些信号均同焊接质量密切相关。因此，基于实时监控系统的探测器可以获取焊接区域中有益的焊接信号。例如，采用传声器来收集声音信号。视觉传感器，如电荷耦合监测器（CCD）、互补金属氧化物半导体（CMOS）以及高速相机（带特殊过滤功能）用来捕获匙孔、熔池、等离子体以及飞溅的图像。光谱仪、光电计则可以用来收集光信号，如可见光（VIS）、红外光（NIR）和紫外光（UV）。红外相机、近红外相机和高温计可以用来收集热信号。复杂的监控系统主要由以上部件所组成，同时焊接信号将以上综合的信号收集在一起。

图２　激光焊接的示意图和不同监控阶段的定义

根据不同的监测目的，从而可以有不同的方式来反映焊接产品的质量。例如，为了获得理想的焊缝深度，提取的信号数据将用于优化焊接工艺参数，或者用来预测实时焊接时焊缝的深度。因此，为了减少焊接缺陷，离线或者在线的监测焊接缺陷的手段被人们用来进行广泛的研究。焊缝跟踪系统是一种非常有效的用来确保激光焦点位于焊接间隙的中间位置，并且激光光斑在焊接过程中位于焊缝间隙的位置不变。焊接工艺的反馈控制可以有效地避免焊接过程中所遇到的不确定的干扰因素的影响。依靠可靠的监控设备，可以获得准确的信号，这是实现有效监控的基础。先进的数据分析手段可以显著地提高监控的能力。在最近几年，人工智能（AI），尤其是机器学习（ML）开始逐渐在激光焊接监控中得到应用。在焊接监控的各个方面均得到了很好的结果，如焊接信号数据的深度挖掘、焊接形貌的预测和焊接缺陷的分类。因此，先进的监测装备、结合有效的以人工智能为基础的手段，在激光焊接实时监测中取得了巨大的成就。然而，依然存在一些问题，阻碍了工业制造过程中的实时监控的应用。例如，一些先进的监控设备，如X射线影像在工厂中应用就存在太过昂贵的缺点，且Ｘ射线还对人体的健康有危害。目前的多探测系统的数据融合还不够智能，工艺特征提过的过程、数据挖掘和数据融合会花费大量的时间。深度学习的应用还才刚刚开始，且如何充分发挥数据挖掘和自恢复学习能力是缩短数据处理时间和提高监控精度的关键要素。

图３　焊接前、焊接进行中和焊接后的监控系统及其焊接齿轮时的监控结果

在本文中，首先详细的综述了激光焊接的在线监测。如图１所示为本文的结构和本文要论述的内容所分的两大部分。第一部分（包括第二节和第三节），从详细的介绍激光焊接监控的介绍开始。于是，一些常见的监控探测器和监控手段、一些新颖的监控技术、多探测融合技术给予了分类和总结。在第二部分（包括第四节），大量的以AI为基础的监测手段依据不同的监控目的，如焊缝特征预测、缺陷的分类、自适应控制等给予了综述。最后，焊接工艺中智能监控潜在的未来的研究工作以及面临的挑战也给予了讨论。

图４　探测及其技术的分类

本文的组织架构如下。为了更好的理解实时监控工艺，激光焊接工艺在第二节中给予了介绍。紧接着，激光焊接监测中的传感器和方法在第三节中给予了讨论。在第四节，为实现不同目的监控方法给予了介绍。最后，潜在的研究在第五节给予了介绍，论文的结论在第六节进行。

２.激光焊接监控工艺的基本理解

激光焊接在线监测可以有效地减少影响焊接质量的不利因素的影响。监控工艺可以分为三个部分：焊接前的扫描、焊接中的在线监控和焊接后的诊断。焊接监控地不同阶段见图２。焊接前的扫描主要聚焦于焊缝追踪地问题，扫描工件之间接头的间隙以确保激光光斑聚焦时可以确保获得可靠的焊接接头。焊接过程中的监控则主要聚焦于实时监控焊接工作区中的焊接特征的提取，如匙孔、熔池、等离子体以及飞溅等。通过分析这些特征地动态地变化，焊缝的质量可以预测并在AI为基础的手段下进行有效地调整。焊接后的诊断则主要聚焦于焊接缺陷的诊断上。气孔、裂纹、飞溅、表面突起、凹陷等是焊接过程中常见的焊接缺陷，是焊缝质量评估过程中比较关键地指标。依靠焊接缺陷诊断技术，焊接缺陷可以及时发现以评估焊接质量，这对提高产品质量的认证效率也很有帮助。表１则总结了监控目的、测量信号和监测技术、焊接监控的不同阶段情况。为了找到更好的监控技术，一些研究人员分别研究了以上三个阶段，而有些研究人员则希望将以上三个阶段结合在一起进行研究。有较多的研究小组聚焦于焊接区的不同的焊接信号的研究。实时监控这些焊接信号可以为焊接工艺过程中的实时调整提供参考。Dorsch等人则开发了一个三探测系统来同时监测焊接前、焊接过程中和焊接后的三个过程。图３则为该探测系统的结构和在焊接动力齿轮时监测的结果。在焊接前、焊接过程中和焊接后的监测的详细综述则在章节３和章节４中给予了介绍。

表1 不同焊接阶段时的监控目的、监控信号以及监控技术

３.不同的探测技术

在本节中，对一些常见的探测器、新颖的监控手段以及广泛应用的多探头融合监控技术进行了详细的讨论，以便更好地理解收集到地焊接过程中的信号。监控系统中探测器及其技术的详细分类见图４。在本节要结束时，依据不同的探测技术、探测器和监控到地焊接现象以及参考文献进行了分类并见表２。

表2 本文中的不同监控探测器、监控技术及相应的焊接现象

３.１监控中的基本的监测器

３.１.２声发射信号

当等离子体信号从匙孔中喷射出来时，压力的波动将会带来声音信号的产生和变化，这可以通过传声器或者声纳传感器进行非接触的测量。声监控的手段由于成本低、操作简单而获得广泛地关注。Huang等人研究了焊缝的深度和声音信号之间的关系。声音信号，如声音压力的波动和功率频谱的变化可以给予定义和提取。于是，这些特征可以采用人工神经网络算法和多回归分析手段来表征焊缝的深度。结果表明，算法可以有效地区分完全穿透焊缝和部分穿透焊缝。然而，声音信号易受到环境噪音的干扰，从而影响了在线监测时声音信号的输入。一种通过两声音还原的办法来获取声音信号，背景的噪音的信号可以有效的减少。也有人采用平板阵列传声器系统，由八个传声器来捕获声音信号。结果表明该系统可以显著降低环境噪音的影响。也有人设计了一个自动测量和控制系统来通过分析声音数据来实时在线控制。

焊接过程中产生的超声波信号对于焊缝内部缺陷的无损监测也非常重要。如图５为采用超声波阵列系统进行焊接过程中熔池深度在线监测的一个示意图。

图５　采用超声波相阵列系统进行熔池深度测量的示意图

3.1.2光信号

光信号监测主要由光辐射监测、光视觉监控所组成。光辐射信号主要由来自激光束和焊接区的信号所组成。熔池、飞溅、等离子体等均会发射出强烈的光辐射信号。例如，紫外（UV）和可见光（VIS）辐射来自原子的转变和等离子体的（核）韧致辐射，而红外（IR）辐射则来自于热的等离子体和熔池。有研究指出，光辐射信号依据不同的波长可以分为两大来。第一类是UV和VIS辐射。其波长为0.3μm到0.7μm。另外一种类型为IR辐射，其波长为1.1μm到1.6μm。光谱和光电二极管探测器可以用来收集光辐射信号。Eriksson等人曾经使用三个光电二极管探测器来获得关于熔池的热信号（T信号）、羽状物中的辐射（P信号）和激光束中发射出来的辐射信号（R信号）中的独立信号。其中R信号的波长大约为1.0μm，其详细的光辐射带宽范围见图6（a）。图6（b）为这一监控系统的示意图。Sibillano的研究团队研究了从羽状等离子体发射出来的光辐射信号。利用光谱探测器来收集这些信号，并且将这一监控器推向了市场。他们同时研究了等离子电子的温度和焊缝穿透深度之间的关系。Zaeh等人则提出了一种研究辐射发射起源的新型研究办法。结果表明合金元素影响焊接接头的机械性能。结合以前所发表的研究结果，建立起一个原位熔化识别系统，该系统可以测量焊缝中不同元素的浓度和浓度变化。经过大量的实验，Mrna等人提供了光强度波动的特征同焊缝深度之间的关系，这可以成为开发一种普适的手段来优化和控制工艺过程。Bono等人则利用光学监测系统来找到不同焊接特征中的光电二极管的信号和缺陷之间的关系。他们同时研究了一种新颖的监控系统，该系统是基于干涉法的原理来实现的。这一办法可以实时测量匙孔的深度。以上两种系统经过了实验的验证。

图6 监控光谱时的光谱范围（a）和该监控系统的示意图（b）

光学视觉监控是当前广泛应用的一种监测手段。因为该技术可以获得大量的可靠的信息。匙孔、熔池、飞溅和羽状等离子体的形貌特征在激光焊接过程中是不断变化的。焊接过程中这些信号的不断变化同焊接质量的波动密切相关。Gao等人定量的表征了熔池的形貌特征同焊接工艺稳定性之间的关系，这为理解焊接熔池行为的实时监测提供了基础。Zhang等人则研究了羽状等离子体和匙孔的主要特征的频率和实践。得到的结果为激光焊接连续变截面材料的实时监控提供了基础。Kim等人则研究了不同焊接状态下采用影像的办法研究匙孔的动力学行为。Tenner 等人则测量了匙孔中的流体的速度和方向，采用一个玻璃板进行了精确的测量观察。结果表明流体的流动同激光功率、送粉速度和焊接间隙密切相关。CCD相机、高速相机和CMOS相机均属于常见的用于捕获焊接过程中的诸如等离子体或熔池图像的传感器，如图7所示。该图为视觉监测时所用的不同传感器的安装示意图。为了减少强光学辐射的影响，多功能过滤器和辅助光源来照射工作区。如Luo等人的研究工作中采用CMOS相机来捕获熔池中的动态图像，采用绿色激光来辅助照射工作区。实验结果证明了该监控系统的有效性。Zhang等人则使用CCD相机来捕获熔池和匙孔的动态照片。有人研究发现羽状蒸汽和飞溅的十五种形态特征可以被定义和提取出来用以评估焊缝的质量。然而，相机探测的信号局限于数据的获取，这是因为空间分辨率的限制。越来越多的研究者开始选择采用多传感器来探测和观察焊接区。通过在不同角度进行监测观察，从而获得综合丰富的信号以用于后续的研究分析。如Wang等人则使用两个高速相机来同时捕获金属蒸汽和飞溅，同时监控熔池底部表面来评估匙孔的状态。有研究采用在熔池上表面和下表面采用两个CCD相机同时观察。结果表明上部表面同下部表面相比较，短且更稳定。You等人则采用两个高速相机来同时收集飞溅在NIR、UV/VIS波段的图像。结果表明UV/VIS波段更适合监控飞溅。Chen等人则建立了一个四CCD相机的监控系统。监控效果如何则采用静态和动态的方式进行可验证。然而，增加相机的数量会增加成本。Fan等人则设计了一个三光学系统在三个不同的方向来监测熔池。这一系统减少了成本且同样可以获得较好的

图7 不同的监控系统
图解：（a）带辅助照明的同轴监控系统；（b）采用两个高速相机进行测量熔化速率的监控系统；（c）熔池上部和底部同时进行监测观察的系统

本文为江苏省激光产业技术创新战略联盟原创作品，如需转载请标明来源，谢谢合作支持！