基于高斯过程的激光焊接数字孪生环境中焊缝跟踪模型预测控制设计

长三角G60激光联盟导读

据悉，本文提出了一种新的基于高斯过程代理建模的焊缝预测方法，该方法对传感误差进行了量化。

摘要

基于视觉的控制系统在激光焊接中得到了广泛的应用，它可以直接监控焊缝和熔池，从而调节焊接速度和激光功率。然而，由于光照条件的变化和材料表面缺陷的影响，基于同轴视觉传感器的焊缝跟踪不稳定。控制器的准确性和鲁棒性仍然是一个主要挑战。本文提出了一种新的基于高斯过程代理建模的焊缝预测方法，该方法对传感误差进行了量化。代理模型基于先前的观测以及误差边界预测焊缝的未来位置，这些误差边界用于焊缝跟踪控制。所提出的基于高斯过程的模型预测控制方法在一个新的虚拟数字环境模型中进行评估，该模型由在真实焊接环境中捕获的全局组装图像构建。通过焊接实验评估了该方法的效率、准确性和鲁棒性。实验结果表明，该方法的最大跟踪误差比标准比例积分微分控制器小42%。

1 介绍

基于视觉的自主焊接系统在焊接行业中越来越流行。视觉传感器的主要优点是其确保无接触测量的能力。然而，在实现基于视觉的自主焊接系统方面存在一些挑战。第一个问题是如何提高视觉传感器的测量精度，焊接过程中容易受到反射光、火花和喷射的熔融金属的影响。第二个问题是如何提高焊缝跟踪的鲁棒性，因为由于系统的复杂性，控制器的性能对环境变化很敏感。第三个挑战是如何有效地设计整个激光焊接控制系统。传统方法在系统设计过程中依赖于耗时的物理原型和实验进行评估。需要研究开发有效且鲁棒的焊缝跟踪和控制机制，以帮助焊接系统设计。

利用激光视觉传感器进行焊缝跟踪。

在仅使用CCD相机进行焊缝跟踪的视觉传感器中，由于从二维图像平面提取焊缝位置的算法不是那么准确和耗时，因此变得非常复杂。同样，焊缝坡口深度、焊缝间隙和细节形状状况的测量也相当困难。因此，许多研究人员研究了带有结构光发射器（即激光二极管）的视觉传感器，以解决上述问题。Wilson描述了激光传感器在各个行业（主要是汽车行业）中的应用。第一次安装是由福特完成的，用于在车身下方的运输中进行焊接操作Zaeh和Vogl讨论了激光投影与工业机器人的应用，以及它们通常在手工公司或中小型企业中进行编辑的编程方法和机制。利用视觉传感器跟踪焊缝的一般过程上图所示。

LWB杯拉深的实验和数值验证a）残余应力的实验估计，b）数值建模。

为了提高焊接系统设计的效率和焊缝跟踪的鲁棒性，提出了一种基于数字孪生（DT）的方法。DT是物理系统的数字复制品，可实现数字模型与实际系统之间的无缝集成，以便在网络物理混合模式下进行操作、监控、控制和系统升级。自2003年推出以来，DT的概念已被应用于不同领域，包括产品设计、制造和人机交互，以提高产品质量和生产效率。DT利用在物理世界中收集的实时传感器数据来模拟和评估数字世界中的单个组件或完整系统，以支持设计决策。

激光焊缝跟踪和控制的拟议DT框架如图1所示。为了实现数字世界和物理世界之间的无缝集成，需要一个表示焊接环境的环境模型。环境模型是DT的重要组成部分。它是焊接系统与之交互的物理世界的抽象。环境模型连续地从多个传感器接收关于物理系统的信息，并被更新以反映物理环境的演变。系统模型基于环境模型进行推理、预测和控制决策，而不是直接基于传感器数据。当使用环境模型时，有几个优点。首先，环境模型综合所有传感器数据并保持物理环境的全局表示，而单个传感器仅提供空间和时间上的局部信息。其次，随着传感器分辨率的增加，传感器和控制器之间的通信延迟需要数据缓冲器来执行实时控制。环境模型可以用作缓冲区，以确保控制动作的连续性和平滑性。第三，传感器噪声和数据丢失问题在过程监控中很常见。环境模型还可以在数据可用于系统模型之前托管所需的数据预处理。

图1 激光焊缝跟踪和控制的DT框架。

本文基于全局组装的光学图像，建立了一个虚拟焊接环境模型。此外，为了提高跟踪和控制的鲁棒性，还提出了一种基于高斯过程（GP）的模型预测控制（MPC）方法。本文的技术贡献有两方面。首先，基于真实世界图像建立了激光焊接虚拟环境模型。据作者所知，这是相关文献中首次尝试开发激光焊接环境模型。其次，提出了一种新的基于GP的MPC焊缝跟踪方法，其中考虑了与传感和控制相关的系统误差和随机误差，以提高鲁棒性。

2.背景

本节回顾了焊接中的焊缝跟踪和控制方法以及焊接DT的相关工作。介绍了现有的基于GP的预测方法和MPC跟踪方法。

2.1.焊缝跟踪

需要跟踪焊缝以沿焊缝路径移动焊接头。传统的跟踪方法，如离线教学回放、离线编程（OLP）和在线传感器引导方法，通常用于焊接系统。离线教学回放是一种直观的方法，多年来在焊接中发挥了重要作用。然而，它缺乏不同焊接工艺的灵活性，即使对焊接系统进行小的调整，也需要进行广泛的修改。在传统OLP的情况下，接缝路径是通过计算机辅助设计（CAD）模型生成的。在焊接系统中，各种类型的传感器，如电弧传感器、光学传感器、激光视觉传感器、电磁传感器和红外传感器已用于监控。在这些传感器中，基于视觉的传感器是近年来使用最多的传感器。多年来，还开发了更优雅的方法。然而，与基于视觉的传感器的接缝位置相关联的测量误差仍然使得跟踪任务具有挑战性。

焊接区域的SEM显微照片，说明样品中过渡区域存在小空隙。

数值残余应力是在冲头恢复到原始状态并与零件中的回弹相关的应力释放后测量的。为了验证仿真模型的有效性，将有限元模型的残余应力与实验模型进行了对比。值得注意的是，由于实验中使用的板材厚度相对较低，因此在深冲过程中，其残余应力在很大程度上被不同的力释放和改变，从而影响了这些板材的测量灵敏度。焊接表面吸收的激光热量导致的温度远远高于材料的熔点。这会产生一个熔池，随着更多的热量传递到材料体积中，熔池的尺寸会增加。

我们提出的方法是模型预测控制，其中基于GP的代理模型用于量化不确定性并预测鲁棒控制的未来状态。代理是基于从研究中的系统收集的数据构建的数据驱动的分析模型，从而可以近似系统的未知或复杂的输入-输出关系。这里的GP模型被训练并根据当前和先前的横向位置不断更新，然后用于基于当前位置预测未来位置。

2.2.高斯过程（GP）

GP是一种基于贝叶斯方案的非参数正则化回归建模方法，用于模型构建和更新。它已成为一种流行的主动学习方法，其中采用顺序采样程序来构建和更新模型。此外，GP建模的主要优点是其便于顺序采样的灵活性以及估计不确定性的能力。为了提高焊缝跟踪和控制的鲁棒性，这里使用GP来预测未来位置并估计与预测相关的误差。附加的不确定性信息提高了模型预测控制的准确性。

2.3.模型预测控制（MPC）

MPC是一种在线最优控制方案，它通过显式模型预测未来的过程响应。该模型是通过重复求解受限于系统动力学约束的有限水平优化问题来构建的。近年来，随着计算能力的提高，MPC在实时控制问题中得到了广泛的应用。

由 MO 传感器捕获的焊缝动态图像序列。

在不同的焊件移动速度（焊接速度）下，磁光学传感器捕获了许多动态MO图像。收集了四组数据，每组包含350-650帧图像。焊缝处的局部放大率图像序列如上图所示。MO图像中灰度值的剧烈变化表明，焊缝在交界处的区域特征非常突出。焊缝中心可以从MO图像中识别出来。

2.4焊接中的数字孪晶

DT最近被引入到焊接系统设计中。通过优化方法的集成，DT帮助设计点焊顺序，以减少单个装配时间。还可以优化焊接路径，以最小化焊接产品中的几何形状变化。DT还用于辅助焊接过程监控，如热控制、熔池尺寸控制和焊接质量控制。

焊缝和MO传感器之间的焊接中心测量偏移。

鉴于焊接过程的复杂性，环境模型提供的抽象层对于焊接系统设计的焊接DT是必要的。环境模型可以具有不同的保真度级别。例如，由于金属在激光焊接过程中会经历固态和液态之间的相变，因此为了提高焊接质量，有必要建立一个基于物理的环境模型，其中包括固相、液相和气相。然而，出于焊缝跟踪的目的，这种基于物理的环境模型在计算上是昂贵的。相反，需要构建更有效的环境模型。关于如何开发焊接DT环境模型的研究仍然缺乏。

3.激光焊接系统和数字孪生环境

本研究使用三自由度激光焊接系统。如图2所示，它由机器视觉模块和运动模块组成。在机器视觉模块中，Balser CCD传感器与安装在焊接头侧面的460 nm波段滤波器集成，该滤波器还包括一个2 W蓝色LED，用于额外照明。光通过安装在激光焊接头内部的半程玻璃传输到视觉传感器上，用于同轴监测。基于QT框架开发了激光焊接软件，以集成各种硬件和算法。如图2所示，用户界面中显示了包含熔池和焊缝的捕获焊接图像。该系统还包括卷积神经网络（CNN），用于基于熔池图像识别熔透状态。该系统与台式计算机（Intel i7处理器，16GB RAM容量）集成。

图2 研究中使用的激光焊接系统。

本研究中激光焊接DT的主要目的是帮助焊缝跟踪和控制方法的发展。图3说明了激光焊接DT的配置及其在焊接系统设计中的应用。

图3 数字孪生环境中激光焊接系统的设计。

基于过程仿真和环境模型，本研究中的系统模型用于识别焊缝路径控制的最优策略。基于在环境模型中提取的位置生成路径。所提出的基于GP的MPC使我们能够精确地跟踪焊缝路径，并最小化系统误差和随机误差的影响。

4.建议的焊缝跟踪和控制框架

4.1.基于图像的虚拟环境模型

机器视觉模块用于捕获焊接图像并提取焊缝位置。该过程包括八个图像处理步骤，如图4所示。这些步骤包括：（a）捕捉图像并识别感兴趣区域（ROI），如图4-a中的矩形所示；（b）选择固定大小的ROI并聚焦于ROI以加速该过程；（c）由于照明而从原始图像中去除背景颜色；（d）用中值滤波器去除盐和胡椒噪声；（e）通过图像的二值化来划分暗接缝区域和亮材料区域；（f）通过腐蚀操作减小金属表面上划痕的尺寸；（g）用扩张手术填充接缝区域的小孔；（h）计算每个区域中的像素数并选择最大区域作为接缝；以及（i）提取接缝的中心点。处理结果如图4（i）所示，其中矩形表示ROI，点表示识别的接缝中心。原始图像的大小为480×640像素。每个像素对应于0.037×0.037 mm2的面积。

图4 识别接缝中心的图像处理程序。

为了创建沿焊缝焊接的完整虚拟环境，需要编译和组装视觉传感器在不同时间步骤捕获的单个图像，如图5所示。基于激光焊接的数字环境模型，可以获得与ROI、激光光斑和当前焊缝中心位置相关的信息。数字焊接环境可用于模拟独立于物理机器的自主焊接过程。DT中环境模型的构建有助于降低系统设计和优化的成本，提高系统的鲁棒性。

图5 将全景图像作为数字焊接环境的步骤。

5.结果和讨论

在本研究中，进行了一系列实验，以验证所提出的激光焊接焊缝跟踪方法的有效性。

5.1机器视觉测试

如图6所示，分别对三种类型的焊缝进行了三次监测试验，即T形焊缝、不锈钢焊缝和搭接焊缝。来自焊缝的每个图像构成ROI、焊缝中心和二值图像。对于T形焊接，两个接头部分以90°角相交。部分光线被遮挡，导致亮度不一致，如图6（a）所示。对于图6（b）中的不锈钢焊接，监测结果受表面粗糙度的影响。较粗的一侧，也就是碳钢一侧，颜色较深。搭接焊如图6（c）所示，当一件重叠在另一件上时，仍可检测到焊缝。结果表明，通过使用所提出的图像处理方法，可以在各种类型的焊缝中成功地提取焊缝位置。

图6 三种类型的焊缝：（a）T形焊缝，（b）不锈钢-碳钢焊缝，（c）搭接焊缝。

图7显示了使用GP模型预测的接缝位置。图7（a）显示了直缝的预测。橙色中心线表示接下来100步的GP预测位置，而一对白线表示与预测相关的方差。图7（b）显示了弯曲接缝的预测。图7（c）显示了实际焊接中的预测位置。在本实验中，通过使用定制镜头和808nm激光照明放大视图，以便同时监控熔池和焊缝。结果表明，开启和关闭用于焊缝跟踪的激光器之间没有显著差异。

图7焊缝预测的高斯过程：（a）直焊缝，（b）弯曲焊缝，（c）实际焊接。

5.2.基于GP的MPC测试

开发的基于GP的MPC在数字环境模型中进行了测试。目标是驱动虚拟头并跟踪接缝，同时将接缝中心保留在观察区域的中间。将基于GP的MPC与PID控制器的性能进行了比较。

图8（a）显示了具有材料和焊缝整体表面的数字环境模型。全景图像的分辨率为5400×470像素。图8（b）显示了特定时间步长下的虚拟焊接视图，其中红星表示激光点。激光光斑始终位于视图的中心。图8（c）显示了GP预测的接缝路径和相应的预测方差。尽管位置的预测平均值可能与接缝中心不完全匹配，但中心始终在基于方差的置信范围内。

图8 数字孪生中的焊缝跟踪的一个步骤。

基于GP的MPC控制用于控制焊头移动。采样时间步长设置为20mS。图9显示了1150步焊缝跟踪实验中的五种类型的位置信息。激光光斑、GP预测位置、当前步长测量、下一步测量和地面实况分别以红色、蓝色、绿色、橙色和黑色表示。

图9 五种类型的位置信息：激光光斑、GP预测位置、当前步长测量、下一步测量和地面实况。

在两种情况下评估了所提出的基于GP的MPC的性能，即不考虑不确定因素的MPC和量化不确定性的MPC。

在控制动作方面，进一步将所提出的基于GP的MPC的性能与PID控制器进行比较。图10显示了MPC和PID控制器的控制动作。在跟踪开始时，激光光斑的位置和焊缝位置之间的差异很大。在两种控制策略中都观察到高速度以减小差异。在这两种控制策略中，激光光斑都会快速向焊缝附近移动。

图10 控制措施的比较。

5.3.焊缝跟踪试验

在所开发的激光焊接系统上进行了实验，以测试所提出的焊缝跟踪方法。实际焊接环境如图11（a）所示。设计并使用平焊夹具固定工件，以防止热变形，避免夹具与焊接头之间的干涉。图11（b）是激光焊接系统界面，左侧显示熔池图像，右侧显示焊缝位置。为了简化界面，只显示下一步测量位置（蓝线）和激光点位置（红线）。该界面还实时显示CNN的分类结果和跟踪算法处理速度。

图11焊缝跟踪实验：（a）实际焊接，（b）激光焊接系统界面。

实验中使用的基于GP的MPC的参数与激光焊接数字孪晶中的参数一致。焊缝的形态如图12所示。焊接速度为6mm/s。直线焊缝和曲线焊缝均准确跟踪，无塌陷或其他缺陷。实验结果与DT中的模拟结果一致。由于没有保护气体，焊缝被氧化。焊缝和工件材料之间的边界清晰可见。

图12焊缝形态：（a）6 mm/s和800 W无保护气体时的曲线焊缝，以及（b）6 mm/s和800 W时无保护气体的直线焊缝。

6.结论和未来研究

在这项工作中，基于数字孪生体的环境模型，开发了一种新的基于同轴视觉的激光焊接系统焊缝跟踪方法。在这种新方法中，使用高斯过程模型来预测焊缝位置和相关的不确定性。提出了一种基于预测的鲁棒模型预测控制方法，用于控制焊接头的运动。所开发的在线高斯过程模型可以有效地预测未来的焊缝位置。将位置预测和相关的不确定性水平结合到模型预测控制中可以减少接缝位置测量中的噪声影响。因此，可以提高焊缝跟踪的鲁棒性。

实验结果表明，所提出的方法对于自主焊缝跟踪是可行和有效的。实验研究还表明，数字孪生框架中的虚拟环境模型适用于辅助设计和实现自主焊缝跟踪系统。所开发的模型预测控制机制具有应用于比焊缝跟踪更复杂的系统的潜力。高斯过程是用于量化不确定性的替代建模的通用方法。高斯过程建模的主要限制是随着样本数量的增加，计算复杂度很高，这是实时应用的一个主要问题。

在这项工作中，我们使用稀疏高斯过程建模方法来确定模型更新的输入数据的大小。考虑到时间序列问题的性质，诱导数据点的选择很简单，即只考虑最新数据进行模型更新。然而，输入数据的大小是通过试验和误差方法经验确定的。未来的工作需要包括更严格的优化技术来决定输入数据的大小。另一种方法可以是将预测误差和计算时间直接集成在模型预测控制的成本函数中，从而可以实时自适应地确定诱导点。系统误差的不同来源也需要在数字孪生环境中建模，以使其更接近真实的物理系统。

来源：Design of Gaussian process based model predictive control for seam tracking in a laser welding digital twin environment, Journal of Manufacturing Processes, doi.org/10.1016/j.jmapro.2022.06.047

参考文献：Towards achieving a fully intelligent robotic arc welding: a review, IndRobot, 42 (2015), pp. 475-484, 10.1108/IR-03-2015-0053

Advances in weld seam tracking techniques for robotic welding: a review, RobotComputIntegrManuf, 56 (2019), pp. 12-37,

W.P. Gu Z.Y. Xiong W. Wan , Autonomous seam acquisition and tracking system for multi-pass welding based on vision sensor, (n.d.). doi:10.1007/s00170-013-5034-6.