基于线性结构光的三维涂胶检测与评价
肖志涛，杨瑞鹏，雷耿，刘艳蓓
天津市光电检测技术与系统重点实验室，天津，300387；
天津工业大学电子与信息工程学院，天津，300387，中国
摘 要
在白车身在线胶料检测中，传统的基于机器视觉的胶料检测的目的是对胶料进行定位和分割，这对于估计形状复杂的胶料均匀性是不理想的。本文提出了一种基于线性结构光和机器人运动参数的三维胶料检测方法。首先，利用线性结构光和极外约束算法进行双目视觉的符号匹配。然后，利用机器人与双目摄像机的手眼关系来统一坐标系。最后，提出了一种结构光条纹提取方法来提取光带中心的亚像素坐标。实验结果表明，该方法能够准确地估计出胶料的形状。对于形状复杂、光照不均匀的三种胶水，我们的方法可以检测出缺陷的位置。测量绝对误差小于1.04mm，相对误差小于10%，适用于BIW中胶料在线检测。
关键词：涂胶检测；双目视觉；灰度质心；卡尔曼滤波；线性结构光
第1章 简介
近年来，机器人在汽车装备行业中得到了广泛的应用。利用机器人代替人工可以有效地提高汽车装配线的效率和车辆的质量。胶合作为汽车生产的重要组成部分，由于其工作环境恶、工作强度大、以及运动特性要求精度高和稳定性好，正逐渐由手工涂胶转变为机器人涂胶。涂胶自动化已逐渐成为一种趋势。由于涂胶的质量严重影响到汽车的产品质量和驾驶安全性，涂胶检测已成为智能化和自动化车间生产过程中不可或缺的一部分 [1,2] 。
由于车身形状复杂，因此在拍摄的图像中不可避免地会出现阴影和反射。此外，图像背景往往受到环境影响。基于这些因素影响的传统图像处理的算法难以避免错误检测和漏检。 此外，基于传统图像处理的涂胶检测算法未检测到胶水的体积（以胶水的高度表示）。胶水量太多或太少都会直接影响车辆的质量，而现在越来越需要高质量的车辆，因此胶水高度的测量就显得尤为重要。
然而，三维涂胶检测的研究仍存在许多问题。结构光条的中心线提取是三维涂胶检测最重要的步骤之一，它直接影响三维恢复的准确性[3]。在参考文献4中，采用灰度质心法对标记点进行定位[4]。这种算法具有较高的分辨率和较低的计算复杂度，但是当光条较宽或光条中存在一些斑点时，提取的坐标往往会发生波动。在参考文献5中，实现了一种增强滤波的算法来提取视网膜血管的骨架，并分析了抑制和增强Hessian矩阵特征值对各种形状的影响。该算法在相同精度下具有更高的稳定性和鲁棒性，但算法运行速度较慢，无法满足实时测量所需的速度[5]。在参考文献6中，提出了一种骨架线提取的方法来提取血管中心，该方法快速且非常实用，但该方法没有达到亚像素精度，无法获得较好的三维恢复效果[6]。
针对传统的二维涂胶检测方法中的误检，漏检和胶水高度获取问题，本文提出了一种基于线性结构光和机器人运动学参数的三维涂胶检测方法。为了解决结构光照射在胶条表面上时形成非高斯条纹的问题，采用了灰度质心法与分段卡尔曼滤波相结合的方法，进一步提高了三维点云重建的精度。利用线性结构光和线星座的原理实现了双目视觉标记的匹配，利用机器人与双目摄像机之间的手眼关系，实现了胶料检测结果坐标系统的均匀性。本文提出了涂胶检测的评价方法，并且实验结果证明了该方法的有效性。
第2章 系统模型
该测量系统主要包括系统标定、结构光条的中心提取、双目匹配、三维点云重建和胶条质量评价。系统标定包括摄像机内部标定，摄像机外部标定和机器人手眼标定。它实现了二维图像坐标到世界坐标系的转换。针对光带图像的特点，结构光带中心提取的部分采用了灰度质心法和分段卡尔曼滤波的方法，以提取光带中心的亚像素坐标。三维点云重建的部分首先求解了三维点云坐标。然后通过手眼标定将多个测量值统一到同一坐标系中。最后，计算胶水的宽度，高度和连续性。系统结构如图1所示，线结构光和双目相机通过定制的连接器固定在机器人的工具中心点（TCP）上。结构光垂直照射在胶条上，双目相机从侧面获取图像。
图1 检测系统的结构
系统流程图如图2所示，它包括摄像机内置参数计算、双目标定、手眼标定、灰度质心法和卡尔曼滤波法提取亚像素条纹中心、解算世界坐标的三维坐标点以及胶条质量评价。
图2 检测方法流程图
第3章 检测方法
3.1 系统标定
系统标定部分包括摄像机标定和机器人手眼标定。摄像机标定包括两个摄像机的摄像机内部标定以及两个摄像机之间相对位置的标定（从右摄像机到左摄像机的平移矩阵和旋转矩阵）。本文采用了张正友的标定方法，该方法需要从不同角度对平面模板进行多次成像。通过平面模板上各个特征点与图像上的点之间的对应关系，对计算结果进行优化。最后，利用内部参数矩阵和单应性矩阵求出相应的外部参数[9,10]。
3.2 利用灰度质心法和分段卡尔曼滤波提取条纹亚像素中心
3.2.1 灰度质心法
对于亮度不均匀的目标，可以使用光强权重中心坐标作为光斑的亚像素中心，并且可以根据光强分布，采用灰度质心法获得光强。
图3 结构光条纹 图4 分段结构光条纹
对于图3中的结构光条纹的图像，我们首先选择二值化过程，获得多个连续的子区域a1、a2、a3、a4hellip;hellip;an，然后提取每个区域的光条纹的质心，如图4所示。对于连续条纹的子区域，所选择的像素级图像块的大小是Mtimes;N，并且水平方向上的块可用于计算灰度质心。然后，所选区域以1像素为单位从左向右移动，其中M是灰度质心需要考虑的像素宽度，N是光条纹的连续子区域的高度。
对于每个Mtimes;N像素级块中的灰度质心的计算，我们可以使用公式（1-3）得到结果：
（1）
（2）
（3）
根据上面的公式，我们可以得到图像中光条纹的亚像素中心。但是，由于胶条吸收了结构光并且受拍摄角度的影响，灰度质心的提取有波动的趋势，因此，我们采用分段卡尔曼滤波器的方法对提取的光条纹的中心进行平滑处理。
3.2.2 分段卡尔曼滤波
由于相邻的灰度质心坐标在连续子区域之内存在相关性，我们引入了对分段连续光条纹的最后灰度质心的预测。因此，我们在灰度质心的横坐标上采用了卡尔曼滤波器。
首先，我们使用系统的流程模型来预测系统的下一个状态。假设当前系统状态为k，依据系统的流程模型，可以根据系统的最后状态预测当前系统状态：
（4）
在式（4）中，是使用最后一种状态的预测结果，是最后一种状态的最佳结果，是当前状态的控制变量。
（5）
在式（5）中，是的协方差，是的协方差，表示A的转置矩阵，Q为系统过程的协方差。
结合预测值和实测值，我们可以得到当前状态的最优估计值：
（6）
其中Kg为卡尔曼增益：
（7）
接下来更新在当前系统状态k的协方差：
（8）
浅条纹灰度质心的横坐标是间隔采样的，距离较近，可以近似相等地考虑。所以A可以被认为等于1。因为没有控制变量，那么可以被认为等于0。所以，我们可以得到：
（9）
式（5）可以改为：
（10）
由于实测值是灰度质心的横坐标，结果的输出坐标直接对应，可以认为H = 1。式(6-8)可改为：
（11）
（12）
（13）
选取第一个灰度质心作为初值，利用式(9-13)完成卡尔曼滤波。
3.3 双目匹配与三维重建
3.3.1 双目匹配
利用极限约束理论计算左右摄像机的对应点。如图5所示，我们首先计算左摄像机光条纹中心的亚像素坐标。然后根据式（14），我们可以计算出右摄像机上的亚像素中心的极线，如图6所示。最后，我们使用从右侧相机中提取的点到直线的欧几里德距离作为对应点，求出与直线最近的点。
（14）
图5 左摄像机中的灰度质心 图6 右摄像机上的极线
3.3.2 三维重建
如图7所示，点P1和P2是空间点P在空间中的对应点。从两幅图像中分别检测到两台摄像机上的图像点P1和P2，分别为C1和C2。摄像机C1和C2的投影矩阵分别为M1和M2。所以，我们可以得到：
图7 双目范围原理
（15）
（16）
其中，（u1，v1，1）和（u2，v2，1）是各自图像中点P1和P2的图像齐次坐标，（X，Y，Z，1）是世界坐标系中点P的齐次坐标，m是mk的一个元素，位于第i行和第j列。方程式（15）和（16）通过消去Zc1和Zc2的项，得到X、Y和Z的四个线性方程。
（17）
由于空间点P是直线O1P1和O2P2的交点，它必须同时满足式（17）所表示的约束条件。我们可以把这四个方程结合起来求P点的坐标。因为我们假设P1和P2是空间点P在不同视图上的对应点，直线O1P1和O2P2必须相交。用最小二乘法求出点P的齐次坐标。
3.4 胶条质量评价
胶条质量评价部分主要完成胶条宽度和高度的计算。通过三维恢复获得的三维坐标如图8所示。从图中可以看出，三维点包括背景直线L和胶水G。首先，我们可以通过随机样本一致性算法（RANSAC）找到背景直线的恢复点云。剩下的部分是胶条部分。排除由计算误差引起的异常值后，我们可以计算出胶条的宽度和从胶条到直线的最大距离。这是胶水的高度。
图8 三维重建结果
第4章 实验和分析
在实验中，我们模拟了汽车胶合的环境，并对胶条的质量进行了评价。 实验表明，采用灰度质心法提取的光条纹中心存在明显的波动，经过分段卡尔曼滤波后的中心相对平滑，噪声较小。处理结果如图9和图10所示。
图9 基于灰度质心的提取图 图10 分段卡尔曼滤波进一步处理图
我们对一些标准件进行了100次测量。由于我们已经知道标准件的长度和高度，我们可以计算平均绝对误差（MAE）、平均相对误差（MRE）和平均时间（MT）来测量光条纹提取算法的效果。
在实验中，比较了白胶、黑胶和蓝胶三种胶水。用王[4]等，江[5]等，吴[6]等和我们的方法进行实验。结果如表1、表2和表3所示。
表1 白胶检测比较
|
平均绝对误差（mm） |
平均相对误差（%） |
平均时间（ms） |
|
|
王某 |
2.39 |
20.6 |
1101.3 |
|
江某 |
1.01 |
9.8 |
2511.3 |
|
吴某 |
4.19 |
37.9 |
318.0 |
|
本方法 |
0.79 |
7.7 |
1146.6 |
表2 蓝胶检测比较
|
平均绝对误差（mm） |
平均相对误差（%） |
平均时间（ms） |
|
|
王某 |
2.43 |
21.1 |
1046.5 |
|
江某 |
1.20 |
10.1 |
2368.7 |
|
吴某 |
4.19 |
37.9 |
317.9 |
|
本方法 |
0.92 |
8.9 |
1146.5 |
表3 黑胶检测比较
<td
全文共6462字，剩余内容已隐藏，支付完成后下载完整资料</td
英语原文共 11 页，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[613]
|
平均绝对误差（mm） |
平均相对误差（%） |
平均时间（ms） |
|
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
