International Journal of Automation and Computing 13(1), February 2016, 42-52 DOI: 10.1007/s11633-015-0916-8
Viewpoint Planning for Freeform Surface Inspection Using Plane Structured Light Scanners
Qian Wu Wei Zou De Xu
Research Center of Precision Sensing and Control, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China
Abstract: This paper proposes an automatic model-based viewpoint planning method, which can achieve high precision and high efficiency for freeform surfaces inspection using plane structured light scanners. The surface model is utilized in stereolithography format, which is widely used as an industrial standard. The proposed method consists of 4 steps: topology reconstruction, mesh refinement, scan direction determination and viewpoint generation. In the first step, the topology structure of the surface model is reconstructed according to a designed data structure, based on which a neighborhood search algorithm is developed. In the second step, big facets in the surface model are segmented into several small ones, which are suitable for viewpoint planning. In the third step, an initial scan region of a viewpoint is grouped by the neighborhood search algorithm combining with total area and normal vector restrictions. Accordingly, the scan direction is determined by the normal vectors of facets in the initial scan region. In the fourth step, the position, the orientation, and the final scan region of the viewpoint are determined by 4 scan constraints, i.e., field of view, working distance range, view angle and overlap. Experimental results verify the effectiveness and advantages of the proposed method.
Keywords: Freeform surface, 3D measurement, structured light scanner, stereolithography (STL), viewpoint planning.
Introduction
Nowadays, the surface measurement technology is widely used in surface inspection, reverse engineering, cultural her- itage, medicines, etc., among which surface inspection is an important application[1minus;4]. A newly developed device, plane structured light scanner (PSLS), is a non-contact de-
vice for surface measurement. Compared with the coordi- nate measurement machine (CMM), a typical conventional contact device, PSLS is non-invasive, faster, and much less expensive[5]. Particularly, PSLS has notably improved scanning efficiency due to its plane scanning mode which replaces line scanning mode of line structured light scan- ner. Meanwhile, the accuracy and the scan speed of PSLS have been improved drastically in recent years[6, 7]. Chung and Park[8] improved the efficiency of PSLS by proposing a phase-to-height relationship function which is a function per image line instead of a function per pixel. Therefore, PSLS has been used more and more widely in surface in- spection.
Since PSLS can only detect a portion of an object from a single viewpoint, multiple viewpoints are required to enable all features of the object to be detected. Thus, viewpoint planning which generates the viewpoint placement strategy becomes critically important for full automatic and high efficient inspection. Usually, surface inspection is a model- based issue, where the geometry of the scanned object is assumed to be known. Accordingly, viewpoint planning for
Research Article
Special Issue on Innovative Applications of Automation and Com- puting Technology
Manuscript received January 9, 2015; accepted June 3, 2015
Recommended by Guest Editor Xi-Chun Luo
times;c Institute of Automation, Chinese Academy of Sciences and
Springer-Verlag Berlin Heidelberg 2016
surface inspection is also a model-based task.
Although PSLSs have become popular in recent years, there are few reports on viewpoint planning using this kind of scanner. Most previous research works are re- lated to CMMs, line laser scanners, or cameras. Lee et
al.[9minus;11] proposed an automated inspection planning sys-
tem for freeform shape parts using line laser scanners, where 5 constraints were discussed: view angle, field of view (FOV), depth of view (DOV), beam occlusion-free, and path occlusion-free. Elkott et al.[12] developed a ge- netic algorithm based sampling system for freeform surface inspection planning using CMMs. Chen and Li[13] pro- posed an automatic sensor placement method for robot vi- sion with camera stereo vision sensors. Combined with the robot system, all geometrical, optical, reconstructive, and environmental constraints were considered in the research. Fernaacute;ndez et al.[14] developed an automatic viewpoint plan- ning system for 3D surfaces scanning using a laser stripe system mounted on a CMM. Constraints of both laser sys- tem and CMM system were considered. Martacute;ınez et al.[15] developed a sensor planning system for headlamp lens in- spection using cameras, considering constraints of visibility, FOV, resolution, focus and view angle. Scott[16] proposed a modified measurability matrix based view planning algo- rithm for object inspection with laser scanning range cam- eras. Zhou et al.[17] presented an inspection path planning method for freeform surfaces, where the path was gener- ated by search-based algorithm using the sample points of computer aided design (CAD) model. Zhao et al.[18] devel- oped an inspection planning method for multi-sensor sys- tem combining a laser line scanner with a touch trigger probe.
This paper proposes an automatic model-based view-
Q. Wu et al. / Viewpoint Planning for Freeform Surface Inspection Using Plane Structured Light Scanners 43
point planning method which can achieve high precision and efficiency for freeform surface inspection using PSLS.
摘要
本文提出了一种基于模型的视点自动规划方法，该方法通过使用平面结构光扫描仪可以实现自由曲面检测的高精度和高效率。立体光刻格式是一种广泛应用的工业标准。该方法包括4个步骤：拓扑重建、网格重建、确定扫描方向和视点生成。第一步，根据设计的数据结构重构曲面模型的拓扑结构，在此基础上开发了一种邻域搜索算法。在第二步中，将曲面模型中的大面分割成若干小面，以便于进行视点规划。第三步，结合总面积和法向量约束，采用邻域搜索算法对视点初始扫描区域进行分组。相应地，扫描方向由初始扫描区域内小平面的法向矢量决定。在第四步中，视点的位置、方向和最终扫描区域由4个扫描约束确定，即视野、工作距离范围、视角和重叠。实验结果验证了该方法的有效性和优越性。
关键词：自由曲面；三维测量；结构光扫描仪；立体光刻；视点规划。
第一章 导言
目前，表面测量技术广泛应用于表面检测、逆向工程、文化艺术、医药等领域，其中表面检测是一个重要的应用。平面结构光扫描仪（PSLS）是一种新型的用于表面测量非接触式光电器件。与传统的接触式测量设备--坐标测量机（CMM）相比，PSLS具有无创性、速度快、成本低等特点。尤其是取代了线结构光扫描仪的线扫描模式的PSLS的平面扫描模式，显著提高了扫描效率。同时，近年来PSLS的准确度和扫描速度都有了很大的提高。Chung和Park提出了一个相位-高度关系函数，它是每个图像行的函数，而不是每个像素的函数，从而提高了PSL的效率。因此，PSLS在表面检测中的应用越来越广泛。
由于PSLS只能从单个视点检测对象的一部分，因此需要多个视点来确保对象的所有功能被检测到。因此，生成视点放置策略的视点规划对于全自动、高效的检测至关重要。通常，表面检查是一个基于模型的问题，在这个问题中，被扫描物体的几何结构被假定为已知的。因此，表面检测的视点规划也是一项基于模型的任务。
尽管PSLS在近几年已经很流行，但很少有关于使用这种扫描器进行视点规划的报道。以前的大多数研究工作都与坐标测量机、线激光扫描仪或照相机有关。Lee提出了一种基于线激光扫描仪的自由形状零件的自动检测规划系统，讨论了5个约束条件：视角、视野（FOV）、视深（DOV）、束遮挡自由和路径遮挡自由。埃尔科特等人开发了一种基于使用CMMS的自由曲面检测规划的抽样系统的遗传算法。陈立提出了一种自动传感器安装方法，用于与摄像机立体视觉传感器相关的机器人视觉。结合机器人系统，研究中考虑了所有几何、光学、重构和环境约束。Fernandez等人开发了一种安装在三坐标测量机上的使用激光条纹并用于三维表面扫描的视点自动规划系统,同时考虑了激光系统和坐标测量机系统的约束条件。Martinet等人开发了一种基于摄像机的用于前照灯透镜检测的传感器规划系统，该系统考虑了能见度、视场、分辨率、焦距和视角的限制。斯科特提出了一种改进的基于视图规划算法的用于激光扫描测距相机的物体检测的可测量矩阵。周等提出了一种自由曲面检测路径规划方法，该方法利用计算机辅助设计（CAD）模型的采样点，通过基于搜索的算法生成检测路径。赵等提出了一种激光线扫描仪与触摸触发探头相结合的多传感器系统检测规划方法。
本文提出了一种基于模型的自动视点规划方法，该方法可以实现基于PSLS的自由曲面检测的高精度和高效率。表面模型以STL格式作为工业标准，应用广泛，STL具有简单、鲁棒性强等优点，为了实现高精度的测量，每个视点应满足FOV、工作距离、视角和重叠等多种扫描约束条件。同时，为了达到高效测量的目的，通过最大化每个视点的有效扫描区域来达到视点的最小数目。考虑到这些因素，该方法主要由拓扑重构、网格细化、确定扫描方向和视点生成四个步骤组成。拓扑重构和网格细化步骤的目的是对曲面模型进行重组和细化，使其适用于后续的规划过程。然后，通过确定扫描方向和视点生成步骤确定一组视点。通过几个具有代表性的实验验证了该方法的可行性和优越性。
第二章 问题陈述
2.1 PSLS（平面结构光扫描仪）
PSLS的原理如图1所示。PSLS由两个主要部分组成：一个结构光投影仪和一组照相机。在测量过程中，平面结构光被投影到被测量的表面上，反射光被摄像机检测到。图像处理后，采用摄影测量三角法计算被测表面点的三维坐标。
图像1 PSLS原理
如上所述，该方法的目标是生成一组使用PSL进行自由曲面检测的视点。视点是指在检查过程中扫描仪的姿势和位置。从生成的视点，可以检测出物体的整个表面。如图1所示，建立了两个坐标系，其中分别代表物体坐标系和扫描器坐标系。视点的位置由原点决定而方位由物体坐标系中扫描器的欧拉角(alpha;, beta;, gamma;)确定。因此，视点表示为一个向量，相应地，视点集描述为
VP=(1)
其中，是视点数。
2.2扫描约束
扫描过程中应满足视点放置的一些限制条件。首先，测量点应位于摄像机的DOV内，以获得良好的图像质量。本文将DOV的要求称为工作距离约束。其次，测量点应位于摄像机结构光和视场的投影范围内。它们的公共区域称为扫描仪的FOV。第三，入射光束与垂直于被测点的表面之间的视角应小于规定的角度。最后，需要重叠区域来整合从不同视角检测到的数据。传统的点云配准方法是迭代最近点（ICP）算法，它通过迭代最小化不同视点检测到的重叠区域之间的距离来整合点云。因此，相邻视点之间扫描区域的重叠区域是必要的。上述扫描约束与以下参数相关：
1）工作距离范围：[H，H h]。
2）视场最小范围：。
3）视野最大范围：；
4）最大可接受视角：。
5）重叠区最小可接受宽度：。
在本任务中，被测表面的CAD模型采用STL格式，由一组三角形面组成。如图2所示，F是测量位置内的三角形面。假设、和是f的3个顶点，是它的质心，nv是它的法向量。如果扫描器坐标系中、、的坐标分别表示为（、、）、（、、）和（、、），则pc的坐标可计算为
图像 2扫描约束演示
三角形面作为一个整体处理。总之，4个约束条件如下：
- 工作距离：3个顶点应在工作距离范围内。
(3)
- 视野：3个顶点应位于视野内。
(4)
- 视角：和nv之间的角度应小于。
(5)
- 重叠：重叠区宽度大于。
第三章 视点规划方法
该方法的总体过程包括4个步骤：拓扑重构、网格细化、确定扫描方向和视点生成，如图3所示。
图像 3总体程序
在第一步中，根据设计的数据结构重构曲面模型的拓扑结构。提出了一种基于数据结构的邻域搜索算法。在第二步中，将曲面模型中的大面分割为几个小面，适用于视点规划。对于每个观点，规划过程都要经过以下两个步骤。第三步，结合总面积和法向量约束，采用邻域搜索算法对视点初始扫描区域进行分组。然后，该视点的扫描方向由初始扫描区域的面法向量确定。在第四步中，使用4个扫描约束（即视场、工作距离范围和视角）来确定视点的位置、方向和最终扫描区域。
在工作距离范围内，工作距离越短，视野面积越小，但表面分辨率越高。本文选择最小视野范围和最短工作距离作为扫描仪的预期工作条件，以获得最高的表面分辨率。此外，考虑到重叠约束，规划过程中使用的视野范围设置为 。但是，视点的实际视野范围大于。因此，相邻视点之间重叠区域的长度大于，如图4所示。将表示为所选视野的面积，将表示为小边长。
图像 4重叠约束
3.1拓扑重构
STL文件是三角形网格模型的标准格式，由面的顶点和法向量组成。它提出了一种表示三角形网格模型拓扑结构的数据结构。基于这种数据结构，提出了一种用于扫描方向步骤生成的邻域搜索算法，以将初始扫描区域分组。
开发的数据结构由5部分组成：
V：(6)
F：(7)
E：(8)
NV：(9)
VL：(10)
其中V、F、E和NV分别表示顶点序列、三角形面序列、边序列和面法向量序列。IV和IF分别表示顶点和三角形面的索引。被称为的顶点链接组，它由一组包含顶点的三角形面组成。VL是顶点链接组的序列。加载STL文件后，根据所提出的数据结构，对曲面三角网格的拓扑结构进行重构。
基于上述数据结构，提出了一种搜索给定顶点的N阶邻域的邻域搜索算法，如图5所示。的索引是。该算法按照以下步骤实现。
图像 5顶点的邻域
步骤1：搜索一阶邻域。(11)
其中表示的顶点连接组。
步骤2：搜索的外部顶点集。
(12)
步骤3：搜索二阶邻域。
(13)
步骤4：搜索的外部顶点集。
(14)
步骤（2n-1）。搜索n阶邻域。
(15)
3.2网格细化
拓扑重构后，由于单个面应小于视野面积，大三角形面将被细化。假设是一个面的最大允许边缘长度。显然，它应该设置为小于。如果E边的长度大于，则应分割包含a的两个三角形面，即和，如图6所示。将,,和表示为的4个顶点，将,,,和表示为其他边，并将和表示为相邻面。
图像 6面分割
假设是e的（n 1）等分点，计算如下：
(16)
因此，和划分为2(n 1)个面。将,,,,..,,,,hellip;,表示为新面，,,,..,,,,hellip;,,,,hellip;,作为新边。分割后，数据结构应更新为
(17)
(18)
(19)
F=F (20)
e=(21)
(22)
(23)
其中
3.3确定扫描方向
视点的扫描方向是由初始扫描区域内面法向量的平均值定义的，该值是从具有一定限制的主面开始增长的。因此，扫描方向的确定包括3个步骤。首先，选择非计划的三角形面作为主要面。选择中的第一个顶点作为主顶点。其次，根据邻域限制、总面积限制和法向量限制，初始扫描区域由增长。邻域限制要求中的面应在的n阶邻域内，总面积限制表明的总面积应小于，通常的值设为2。法向量约束要求中一个面的法向量与的法向量之间的夹角小于2，这由定理1支持。第三，当前视点的扫描方向由初始扫描区域三角形面内所有法向量的全局平均值确定。
定理1：可以从一个角度扫描两个三角形面的必要条件是，两个面的法向量之间的角度小于2，其中是扫描器的最大可接受视角。
证明。如图7所示，和是两个三角形面。将和分别表示为它们的法向量，表示视点的位置。如果两个面都可以从一个角度进行扫描，则角度和应满足
(34)
图像 7定理1的证明
因此， le;2。将向量和与平行。建立了几个方程：
(35)
利用上述方程，可以推导出以下结果
(36)
通常情况下，由于是较小的值，因此可忽略不计。因此，可以从一个角度扫描两个面的必要条件是
(37)
总之，扫描方向生成是通过以下步骤实现的：
步骤1：选择一个未计划的三角形面作为当前视点的主要面。
步骤2：将中的第一个顶点设置为主顶点。初始化总面积、n阶邻域和初始扫描区域。
(38)
步骤3：如果ngt;N，转到步骤6。否则，搜索的n阶邻域，并更新n的值。
n=n 1(39)
步骤4：如果中的面满足法向量约束
(40)
和更新为(41)
步骤5：如果gt;，转到步骤6。否则，转到步骤3。
步骤6：计算扫描方向向
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
