基于视觉的T型接头激光桩焊光束偏移检测

长三角G60激光联盟导读

据悉，本文介绍了一项实验研究，其中视觉摄像机同轴集成到激光束焊接工具中，以监测T形接头激光桩焊接中的光束偏差（光束偏移）。

摘要

本文介绍了一项实验研究，其中视觉摄像机同轴集成到激光束焊接工具中，以监测T形接头激光桩焊接中的光束偏差（光束偏移）。其目的是在这种类型的焊接中，如果从顶部看不到接头，则可以早期检测到接头中心线的偏差。应用多项式曲面拟合方法来提取能够描述熔池行为的特征。训练具有外部输入的非线性自回归神经网络模型，以将八个图像特征与激光束偏移相关联。通过不同的焊接样品对所提出模型的性能进行了离线评估。结果表明，该方法可用于指导焊后检测，并具有在线自适应控制的潜力。

1 介绍

先进的制造方法涉及激光束（LB）桩焊T型接头，其中激光束的光学入口从面板顶部，因此腹板的位置不可见，见图1。桩焊的一个典型应用是在轻质和节省空间的解决方案中，如采用I型芯设计的夹层板和直腹板。夹芯板的基本思想是，表面板在弯曲过程中承载载荷，而核心在剪切作用中承载载荷。这种焊接结构在例如造船中很常见。

图1 带有尺寸定义的桩焊接T形接头。

桩焊接T形接头的另一个重要应用是制造液体火箭发动机用再生冷却喷嘴。这是一个大型薄壁结构，必须在极端温度和压力下运行。可通过冷却液通道壁的水射流铣削和出口歧管的桩焊来进行制造。

桩焊接T形接头的一个主要挑战是，从面板的顶侧看不到接头，因此通常需要接头准备、夹具和焊接工具操纵器运动的窄公差。

基于视觉摄像头的过程监控已成为包括激光束焊接（LBW）在内的焊接过程在线监控的主要趋势。与一维传感器相比，视觉系统提供了过程的现场信息，并已应用于捕获不同方面，如熔池几何形状、焊接飞溅和小孔动力学。

典型采集框架和熔池后部阈值和标记的参考点。

与焊缝质量相关的是焊缝几何形状是焊接工艺中最重要的参数之一。这是焊接项目中的一项重要要求，尤其是在需要特定宽度、高度或焊缝熔深的自动焊接系统中。对于基于滤光片的系统，可以找到主动或被动视觉系统。有源系统采用外部照明光源和光学带通滤光片，根据光源具有较窄的带宽。通常，红外激光用作照明源，基于其相对于可见光谱和电弧的较低噪声水平。这些系统获取高质量的熔池图像，特别是在GTAW过程中，但由于其额外的成本和复杂性，它们不常用于控制过程。另一方面，被动系统不使用外部照明。光学滤光片的使用以及电弧和熔池辐射的存在足以从图像中提取几何特征。虽然使用主动视觉系统从熔池捕获的图像更详细，但在被动视觉中，熔池与场景中其他物体之间的高对比度有利于从测量和焊缝跟踪过程中获得合适的结果。

监测GMAW过程中几何变量的常用方法是间接模式，通过使用数学模型将几何参数与另一个更容易测量的过程变量（例如电流或电压）相关联。例如，渗透是一个内部参数，通常通过间接方法估计。尽管超声波和计算机射线照相等直接测量方法显示出良好的结果，但这些方法在焊接过程中很难执行。当无法直接测量时，间接测量方法很有用，但它们会增加监控过程中的误差，并且只能在与构思建模开发时相同的条件下使用。另一方面，计算机视觉系统用于在线直接测量焊缝的外部几何参数。这些系统的主要问题是由于焊接过程中电弧产生的强辐射而导致熔池的不利可视化。

焊缝几何特征（横截面）。

出于这个原因，为了减少这个问题，采用了两种方法：基于结构光的系统和基于滤光片的系统。在每种情况下，都使用两种不同的技术来测量感兴趣的变量。在结构光系统中，可以将单个激光条纹直接投射到焊缝上。这些系统易于实现，可以重建焊缝表面，并显示出良好的效果，但它们相对于焊缝形成具有显着的空间延迟，导致实时控制系统复杂化。或者，使用结构化激光图案系统，例如平行条纹、网格和点阵投影。这些系统将激光图案直接投射到熔池上，并利用激光的镜面反射来描述焊缝的形成。结构光图案提供了有关几何参数的有意义的信息，但在实践中，它们仅限于钨极气体保护焊（GTAW）工艺，因为反射图案受到熔池表面波动的影响很大，这在金属转移焊接工艺中很常见，例如在GMAW中。

在文献中，很少注意检测T型接头激光桩焊接中的LB偏差，因为从顶部看不到接头。本研究的目的是研究如何将视觉系统与NARX NN模型相结合，用于检测T型接头激光桩焊接中的LB偏移。

2.实验设置

实验中使用的LBW设备包括水冷高功率掺镱光纤激光器、CNC机架、夹具和使用照明LED的基于相机的视觉系统。

2.1.机器人化激光焊接设置

使用来自Isel®Germany（型号M40）的CNC龙门架操纵Permanova Lasersystem AB的焊接工具。将波长为1070 nm的6 kW IPG镱光纤激光系统（型号YRL-6000-S）产生的LB通过直径为800µm的光纤引导至焊接工具。焊接工具包括200mm焦距准直器和200mm焦长聚焦透镜。聚焦光束的特征在于瑞利长度为3.73mm，焦平面内的光斑直径为0.75mm。LB聚焦在面板表面上，激光功率为连续波（CW），在所有情况下都能进行小孔焊接。实验推导了激光功率和焊接速度，以产生明显好看的焊缝。

焊接在没有填充材料的情况下进行，所使用的板材是S355MC，一种热轧高强度低合金钢。选择这种材料是因为其相对较高的热导率，这在防止热变形方面是优选的。这些板通过水射流切割制成，以实现榫卯接合，矩形榫孔沿着接缝穿过面板，相应的榫舌沿着腹板，见图2。

图2 实验装置。

3.NARX NN模型

LBW是一个经历各种干扰的动态过程，这使得在熔池图像中提取相关特征成为一个挑战。在本研究中，应用多项式曲面拟合方法从熔池中提取信息。提取的特征用于训练NARX NN模型以预测LB偏移。

3.1.通过表面处理提取熔池特征

焊接过程动力学与熔池动力学密切相关，并反映在过程图像序列中。然而，并非所有的图像信息都与焊接质量直接相关，这需要减少图像数据尺寸的程序。图3显示了图像数据和拟合曲面的两个示例。

在特征提取之后，视觉评估所有特征以查看与LB偏移的相关性，发现其中8个特征与LB偏差相关（p01、p11、p21、p12、SSE、DFE、R平方和RMSE）。图4显示了焊接案例和参考焊接的8个特征。

图3 （a）和（b）熔体池的第700帧和第1800帧，标记区域为ROI；（c）和（d）（a）和（b）中数据的拟合面。

图4 选定的8个特征：p01、p11、p21、p12、SSE、DFE、R-平方和RMSE。横轴s是焊接箱的图像帧。垂直轴是特征量值（没有单位的数字）。参考焊接意味着LB路径遵循接头中心线。

3.2.NARXN用于波束偏移检测

NARX前馈神经网络将用于对提取的图像特征和LB偏移之间的相关性进行建模。

3.3.1型号配置

NARX神经网络模型在Matlab中实现。该模型由三层组成：输入层、隐藏层和输出层，如图5所示。隐藏层由几个神经元组成，导致来自输入层的值的仿射加权组合的非线性映射。输出层由来自隐藏层的值的仿射组合组成。

图5 开环训练和闭环训练。

3.3.2 NARXNN培训和测试

为了训练NARX NN模型，应准备训练数据。在本研究中，该模型的设计功能是：当标称LB偏移量大于0.5mm时，输出为1，否则输出为0。因此，训练数据的目标标记为1或0。使用选定的8个特征，分别为2mm和4mm工件训练两个单独的模型。

采集的焊接电流信号xx（t）和降噪结果。

由于不确定性和非线性耦合因素对焊接质量的影响，收集的焊接电弧数据为非平稳电弧信号。时频分析方法是目前非平稳信号最强大的工具。有一些时频分析方法，如窗口荧光变换、连续小波变换、Wigner-Ville 分布、希尔伯特-黄变换和局部均值分解（LMD）。其中，LMD是一种新的自适应时频分析方法，首先由Jonathan S. Smith提出，通过应用EEG信号处理和Smith（2005）获得更好的结果。LMD方法可以自适应地将复杂的多分量信号分解为若干个瞬时频率和物理意义上的乘积函数（PF）分量，每个PF分量乘以一个包络信号和一个纯调频信号。它具有更高的时频分辨率和浓度，特别适用于电弧电信号的分析。

通常，宽度和高度的测量是使用阈值技术进行的。对于每种情况，在阈值步骤之前，采用图像增强以确保熔池的良好分割，最后，使用标记技术来识别熔池中的参考点并获取实时数据集。为了减少测量这两个参数的计算机处理时间，使用图像平面中的垂直轴将每个帧分成两个区域：左侧用于测量宽度，右侧用于测量高度。尽管两个测量参数（宽度和高度）是从不同的方法获得的，但两种情况下的图像处理方法都包括以下图像处理例程：图像增强;图像阈值;标签;和参考点位置。

位于熔池边缘的参考点，用于测量焊缝宽度。

上图显示了阈值设置的示例，并指出了目标区域和原始图像中参考点中的标记过程。在这种情况下，对于以23 V恒定电压和7.5 m/min进丝速率作为输入参数的焊接工艺，图像中的参考点位置位于第175行和第132列，因此焊缝宽度计算为7.46 mm。

4.结果和讨论

两个NARX NN模型（一个用于2mm板，另一个用于4mm板）分别针对焊接情况进行训练和测试。LB偏移检测结果如图6和图7所示。对于焊接情况#1和#3（2 mm板），定位焊引起的焊接过程局部不稳定性也如图6所示进行检测。这在焊接情况#2和#4（4 mm板）中不发生。

根据检测结果，可以找到板上LB标称偏移大于0.5mm的位置，该位置对应于模型输出。理想情况下，后一列中显示的数字应为0.5mm。但在大多数情况下，会发现较大的偏移。其中一个原因可能是所获得的模型不够好。此外，在建模和测试中，使用标称LB偏移代替实际光束偏移。实际LB偏移量和标称偏移量之间可能存在差异。第三种解释可能是从ROI提取的特征不能准确地表示该过程，这可能是由图像采集过程和/或表面拟合特征提取方法引起的。

图6 LB偏移检测。（a）焊接箱#1；（b）焊接箱#3。

图7 LB偏移检测。（a）焊接箱#2；（b）焊接箱#4。

为了查看产生的焊缝中LB偏移的结果，图8显示了情况#2的四个点的横截面，其中机器人标称路径偏差为0.14 mm、0.76 mm、2.93 mm和3.8 mm。焊缝中心线是根据标称LB偏移值转换为距接头中心线的像素偏移绘制的。从图8（b）可知，当标称偏移量约为0.76 mm时，熔合区不覆盖腹板和面板之间的界面。

图8检测点的横截面（案例2）。

5.结论

对激光桩焊中LB偏移检测进行了实验研究。可以得出以下结论：

•具有适当照明的同轴成像能够观察熔池的动态偏差，这可以与LB偏移相关。

•所提出的表面拟合特征提取方法在提取熔池形态信息方面表现出良好的性能。

•本研究展示了一种在线监测T型接头激光桩焊接中光束偏移的方法。

从这项工作的结果来看，出现了以下限制，这些限制可以显著改善。首先，从标称机器人路径偏差中收集训练数据中的波束偏移。为了提高精度，应记录实时机器人路径以提供训练数据。其次，不考虑光束偏移的方向。通过用从键孔画出的中心线将熔池轮廓分成上部和下部，可以通过将表面拟合到熔池的一部分来估计光束偏移的方向。最后，所选特征可以是线性相关的。在这种情况下，可以使用一些特征缩减技术，例如可以使用主成分分析（PCA）来进一步缩减特征向量的维数。

来源：Vision based beam offset detection in laser stake welding of T-joints using a neural network, 17th Nordic Laser Material Processing Conference (NOLAMP17), 27 – 29 August 2019, 10.1016/j.promfg.2019.08.007

参考文献："Quality monitoring for laser welding based on high-speed photography and support vector machine." Applied Sciences7, no. 3 (2017): 299.