英语原文共 24 页，剩余内容已隐藏，支付完成后下载完整资料

---

基于主动视觉的焊缝成形尺寸测量和缺陷识别研究

摘要：为了实现焊缝成形质量的在线检测，建立了一个基于主动视觉的焊后焊缝成形质量检测系统，同时对整个系统最重要的部分-图像处理进行了深入探讨。 在图像处理过程中，首先进行图像预处理；在特征提取部分，用质心法提取结构光中心线；然后用 RANSAC 算法来拟合焊接母材；用面积法来提取结构光中心线上的特征点。 最后得到焊缝成形的几何参数，还可以利用视觉检测系统得到的三维信息进行焊缝三维形貌重建。试验结果表明，该焊缝成形质量检测系统的图像处理方法可靠性高、鲁棒性强、运算速度快。

关键字：机器视觉；焊缝成形；结构光；特征点提取

1 引言

目前，焊接技术正在蓬勃发展。 焊接是制造许多工程物体和结构的重要部件，尤其是在造船、汽车和航天飞机上。与此同时，焊接是一个复杂的过程，因为许多工艺参数可以对最终焊接质量造成影响， 如焊接电压、焊接电流、焊接速度。 焊接在工业上广泛应用，所以需要满足在线监测焊缝质量的条件。 焊接缺陷对焊接结构有一定的影响，它将减少机械性能，缩短产品使用寿命，甚至在严重的情况下，它也可能导致脆性断裂，导致灾难性的事故。 因此，焊接焊缝的测量和焊接缺陷的跟踪检查是工业焊接的重要组成部分。

目前，大部分的焊接质量评价工作，采用量具和测量尺度，完全依赖于工人^[1]。虽然设备成本低，操作人员培训相对较少，但这一检验过程往往是需要大量的时间和劳动。 目视检查的缺点是由于缺乏明确客观的准则而无法确定焊接质量评价的客观性^[2]。这些都是推动自动焊接发展的重要因素。 基于这些要求，基于视觉的检测系统可以用于检测焊缝的外部缺陷^[3-9]。许多基于视觉的实验都在实验室环境中取得了成功。但在工业环境中，要实现焊缝表面的检测有许多困难，如成本、实际实施限制和图像处理效率。

本文的主要目的在于开发了一种基于视觉的系统，可以自动测量后焊缝尺寸，并在工业环境中准确可靠地进行在线监测和焊接后的质量检查。

本文的其余部分组织如下。本系统的系统结构和检测内容见第2节。第三部分详细讨论了图像处理算法和标定方法。实验结果见第4节。 第5节是这篇论文的结论。

2焊缝检验系统结构

基于视觉检测系统包括一个五轴龙门结构机器人、一个激光视觉传感器和一个工控机组成。图1显示了五轴架结构机器人的结构。它由三个笛卡尔坐标(X,Y,Z)和两个旋转轴(U, V)组成用以控制焊枪的状态。 激光摄像装置由机器人沿焊缝移动。激光视觉传感器附在z轴上。 图1：机器人的三维示意图

2.1传感器的结构和配置

根据激光三角测量原理设计的激光视觉传感器，包括一个CCD相机、线结构光发射器和一个光学滤波片，如图2所示。在焊接中，CCD相机放置在一个保护外壳内。外壳保护传感器免受喷溅和在焊接过程中产生的烟雾。激光投影仪用于产生一个结构光，投射到焊缝表面。同时CCD相机捕捉到反射的结 图2：激光传感器视觉图

构光。聚焦透镜定位在一定的距离和角度相对于图像传感器。 从结构光和标定相机之间的空间几何关系可以重建焊缝的几何特征; 这将在第3.3节中详细讨论。

2.2检查焊缝

基于视觉的检测系统产生焊缝尺寸，如焊缝宽度。 对焊缝缺陷的检测可以得到一些参数，例如板位移和咬边。焊缝尺寸的定义之前已经提出^[10]。图3显示了焊缝的条形轮廓，并假设焊接是水平放置的。

1. 焊缝宽度为左右特征点之间的距离，即点P1 P2，直接用x方向测量。

熔宽： (1)

1. 高度是轮廓线的最大垂直距离，在焊缝基线之上，在左右特征点之间。

余高： (2)

1. 焊接的每一面都要计算出咬边。它是从焊缝基准线到焊缝轮廓线低于焊缝基线的区域的最大距离。

咬边： (3)

1. 平板位移测量为y轴方向两个焊缝基线之间的距离。

错边： (4)

图3：焊焊缝表面几何参数示意图

3图像处理算法

图像处理在基于视觉的焊缝检测系统中起着重要的作用。 因此要用图像处理算法提取特征点，需要进一步的实现。 算法流程图如图4所示。第一步是捕捉结构光的图像,然后进行预处理，以去除噪声和焊接飞溅。 然后再提取出要处理的区域(ROI)，为了减少图像处理时间。 下一步是中心线和特征点提取。 最后计算焊接参数。图4将给出每个步骤中算法的细节。

图4：图像处理算法流程图

3.1预处理

.获取图像

图5a是CCD相机捕捉到包括结构光在内的焊缝灰度图像。原始图像的分辨率为768times;576。 图5a是实际焊缝的三维表面，作为焊接后检验的一个样例。

.图像平滑

噪声和焊接飞溅明显存在于图5b中。因此，首先必须去除噪声。 中值滤波作为一种非线性滤波技术，通常用于去除噪声。 图5 c显示结果值，过滤器模板3times;3的大小。中值滤波消除了噪声，同时保留了图像的边缘结构，但是焊接飞溅仍然存在。

.阈值分割

在图5c中，结构光的灰度值明显大于背景值。因此，要对图像进行二值化，然而用于图像阈值的固定阈值缺乏灵活性。对于不同的图像，需要计算最优阈值以得到最好的结果。Otsu是满足这种条件的一种算法^[11]，这种算法不要求输入参数，并且可以自动获得一个光学阈值。 所以本文采用Otsu算法。在Otsu的阈值分割后，如图5d所示，结构光被提取，同时也提取到焊接飞溅。

.形态学操作

如图5d所示，结构光有时是不连续的。采用形态学操作，保证激光条纹连续。形态学运算的基本算法是膨胀、腐蚀、开环和闭环。 闭合操作的特点是消除小洞，填补轮廓的空隙。 经闭环操作后，得到的结果与我们预想的一致。 结构光在闭环操作后是完全连续的; 同时焊接飞溅更加明显，如图5e所示。

.区域平滑

区域光滑的目的是消除焊接飞溅。由图5e可知，焊接飞溅与结构光分离，焊接飞溅区与结构光区相对较小。因此，可以通过得到轮廓的最大面积来提取结构光。图5f所示为区域平滑提取的结构光。 焊接飞溅已完全清除。

.增加ROI处理

为了提高图像处理的效率，提取感兴趣区域，即 只对结构光的区域进行处理。为此，提出了一种自动 提取包括结构光条纹的感兴趣区域 ROI （Region of Interest）的算法。 算法步骤如下：提取的ROI如图5g所示。

(a)计算图像每一列的白像素个数N(i)，然后求出最大值max(N(i))和相应的行I。

(b) i=I，if N（i）＞0，i=i-1 循环之后就能确定结 构光条纹的上边界。

(c) i=I，if N（i）＞0，i=i 1 循环之后就能确定结 构光条纹的下边界。

图5：图像处理算法

a三维表面 b原始图像结构光

c图像经过中值滤波后 d在Otsu分割后的图像

e图像经过形态学操作后 f图像经过区域滤波后，

g ROI h结构光的中心线

i 提取到的直线, j特征点

3.2 特征提取

. 结构光的中心线提取

通过操作像素从而实现提取中心线有多种方法， 例如灰度阈值法、极值法和梯度阈值法。 这些方法具有计算复杂度低、实现简单的特点; 但缺点也很明显，这些算法的精度是较低的。 然而采用亚像素提起中心线的方法包括高斯拟合方法^[12]、灰度质心法和Hessian矩阵法^[13]。 这些方法具有较高的精度。但由于其庞大的计算复杂性，它们无法在在线质量检测系统中得到应用。鉴于结构光的高精度，本文采用的方法是质心法。该方法以结构光的几何中心为结构光的中心点。对于一排图像，中心点的横坐标公式为:

(5)

其中是第j行的中心点的列坐标。

和分别是列坐标和第i点的灰度值。

图5h显示以质心法提取的中心线。

. 特征点提取

在本文中，关键技术是提取特征点。 特征点的准确性决定了检测的准确性。根据检测标准，结构光的拐点通常被认为是特征点。在金属上投射的结构光是线，它位于图5i的上方或下方。所以这两条线分别代表左拐点和右拐点，首先要进行拟合直线。 最常用的拟合方法是最小二乘法，但是它的缺点是对异常点敏感，。 只适合误差较小的情况。 而本文图片中既存在母板 反射的结构光又存在焊缝反射的不规则曲面结构 光，采用最小二乘法拟合的直线会偏离原来的直线。 为了提高拟合直线的鲁棒性和稳定性， 本文采用 RANSAC 算法进行直线拟合。

RANSAC是随机抽样一致算法。RANSAC[9]算法是在 预知数据模型的前提下， 通过迭代拟合找出此模型的最优解。因为焊缝会存在错配的缺陷，所以根据母 板所在位置和特点，分别拟合左右两个母板。利用左 侧 i（0＜i＜width/2）个点来拟合左侧母板直线，右侧 i（width/2＜i＜width）个点来拟合右侧母板直线。 图 4（h）为左右两侧直线拟合后的图像，可以看出即使 用于拟合直线的数据包含焊缝处不规则的结构光， 拟合出的直线依然精确。具体步骤如下:

（1）以左侧特征点为例， 设置一个大小为 20times; 20 的模板，在图 5 中用方框表示，模板从图像左侧 到右侧沿着结构光中心线上的像素点移动， 如箭头 1 所示，每次移动距离为一个像素，移动完成后计算 中心线上的点到拟合出的直线的距离。 这里结构光中心线第j 个点到拟合左侧直线的 距离；i 为模板的中心点；w 为模板宽度，即为 20，计算模板内的每个点到直线的距离之和称之为面积法。

（2）设置区域阈值，比较 和 AreaThresh，当AreaThresh时，，左侧特征点的大体位置（xi，yi）就找到了。 为了更精确地确认特征点可将 模板大小设置小一点，变为 10times;10，然后从点（xi，yi）开始由右往左开始搜索，如箭头 2 所示，面积的变化 趋势开始慢慢变小， 直至趋于零。 当得到的面积值 小于阈值 TArea/2 时， 此时方框中心为真正的左侧特征点， 即图中红线与结构光中心线交点处的 位置。右侧特征点的确定方法和左侧特征点的一样， 只是每一步的搜索方向都与其相反。

（3） 最后确认的点为最高点， 余高的定义是结构光中心线中，距离母板垂直距离最远的点（在母板上侧的结构光条纹）。 此时为了节省处理时间，结构光的范围就可以缩小为（xi，yi）， i=，，hellip; ，其中， ，分别是左侧和右侧的特征点 x 坐标，计 算这些点到两条金属母板直线最大的距离。 5j提供了基于区域的算法提取特征点的结果。

.尺寸测量

在确定特征点时，可以计算焊缝尺寸，如珠宽、咬边、板块位移等。第2.2节详细介绍了该定义。然后，将这些值与预先给出的理想值进行比较，以判断焊缝质量是否合格。

3.3 校准

传感器的工作原理是主动测量，如图6所示。本文所采用的标定方法为，以前研究过^[15]。在校准过程中,三个参数计算,包括投影角beta;,基线长度,和焦距f。测量系统的坐标系统是由以下规则:相机的中心(即透镜中心)是坐标(0,0)的原点，相机光轴为z轴。 图6：主动三角测量方法的原理

为了简单起见，图像坐标系与摄像坐标系平行。通过调整投影板，使结构光平行于图像帧的y轴。投影平面之间的交叉和相机坐标系的轴是 p(minus;L,0,0)。

用Eq.(6)给出了激光投影平面的方程。

(6)

有一个点P(xc、yc zc),在投影平面上。 根据透视投影变换理论得到如下等式

(7)

根据等式 6和7，转换公式可计算如下:

其中(Nx,Ny)是图像坐标中的目标点坐标，(Wx,Wy)是像素的实际大小。

(xc,yc, zc)是摄像机坐标系的坐标。(cHeigth,cWidth)是图像的高度和宽度，即768times;576。 到目前为止，根据变换公式可以得到三维坐标点P在摄像机坐标系中的坐标。

4实验结果

激光视觉焊缝质量检测系统除了能够测量焊缝尺寸和检测缺陷外，还要对三维焊缝表面进行重构。为了获得焊缝的整个三维表面，每一次三维焊缝轮廓被重构，而机器人将激光视觉传感器沿焊缝方向移动。此外，在重建剖面上的任何缺陷的位置都可以被发现并实时记录位置信息。该三维重建功能支持实时焊缝监测和焊后质量检查。

如图5a所示，通过焊接两种不同厚金属板得到的焊缝。在刚

全文共22411字，剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[9622]，资料为PDF文档或Word文档，PDF文档可免费转换为Word