英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料
一种基于视觉应用于照相机云台控制系统的铁路
提取方法
摘要：铁路提取，确定列车前方铁轨的位置，是铁路基于视觉的驾驶员支持的基本任务之一。本文介绍了一种以抛物线段序列为模型，通过匹配边缘特征提取钢轨的方法。模式是在半自动离线阶段预先计算相机附近的区域，并为更远处的区域实时生成。我们的方法是为了解决开放环境所带来的挑战，而不需要明确的关于火车速度或摄像机参数/位置的知识，并且在没有专门的硬件的情况下运行的足够快。考虑到一个系统的要求，一个带有变焦镜头的摄像机安装在一个倾斜的单元上，可以通过增加分辨率来捕捉来自该地区的图像。
索引：照相机云台控制，计算机视觉，铁路提取，铁路安全。
在改善铁路安全方面，基于结构的自动化已使用多年，形成了固定的模式。然而,由于安装和维护费用，许多线路上的工作仍然依赖于司机，例如识别标志和障碍。基于车载传感器的驾驶员支持系统，类似于最近开发的汽车，在这种情况下，系统可以成为具有成本效益的替代方法[1]-[5]。这些系统的基本功能之一是钢轨提取，在火车前面确定轨道的位置。例如，该信息用于划定探测障碍物和标志的可能区域。在本文中，我们考虑了基于车载摄像机捕获的图像进行轨道提取。
理想的情况是，当距离相机的距离增加时，铁轨会变得更近，因为它的曲率和与周围环境的对比度都很低。然而，列车运行的开放的环境会带来许多挑战。糟糕的照明度，能见度，运动模糊，阴影，生锈，遮挡，与轨迹床的对比不佳等等，都会使铁轨看起来是不均匀或不连续的条纹，边界不清晰。此外，有丰富纹理的轨道床(固定镇流器、枕木、植被和铁路设备)和混乱的铁轨结构如平行的轨道可以使图像难以解释。
图1 对铁路的开采提出了一些挑战。(一)糟糕的照明 (b)下雨了 (c)凌乱 (d)的地下通道。这些示例还显示了令人困惑的元素，例如多个轨道和与rails平行的高对比度区域。
钢轨的提取与高速公路上的车道标识有许多共同的特点，这是一个被广泛研究的问题，也有许多解决方案[6]-[12]。这些方法通常是通过选择/分类图像特征，并根据特定领域的假设来使用它们进行模型拟合。直接采用这种技术进行铁路开采的主要障碍是这些假设中有些不适用于铁路[4]。例如，一个常见的假设是车道标记比沥青更亮，但是铁轨的不同部分比周围环境更亮或更暗。关于沥青具有近乎均匀的颜色或纹理的假设，在铁路上也找不到相似之处，因为轨道床上有丰富的纹理。这些差异意味着，尽管某些车道识别技术在某些情况下可以用于铁路采掘，但这些都是不同的问题，应该考虑到它们的特殊性。
钢轨提取的专用方法通常是在列车前部的一个区域内，通过将候选轨道像素拟合到直线段，在短距离内定位轨道，发现铁轨在列车前方的区域内出现有限的曲率和变化。Maire和Bigdeli[4]通过在增量过程中，将局部强梯度与直线段匹配，从而将结果扩展到更长的距离来实现钢轨提取。他们通过执行反向透视映射来探索轨道并行性，并从用户反馈中获得转换参数。Kaleli和Akgul[5]通过动态规划对单个像素进行分类，从而在更长的距离内提取出铁轨。在[13]中，我们已经表明，当轨道附近有很强的梯度或轨道高度弯曲且不能在短距离内直线逼近时，这种方法就失败了。
在本文中，我们描述了一种匹配边缘特征的铁路提取方法，该方法被建模为抛物线段的序列。短距离的模式是预先计算一个半自动脱机阶段，不需要标记的例子。对于更遥远的区域，模式是在动态中生成的。为了提高精确性和减少处理时间，我们探讨了多个提取器和视频序列特性。
由于实际的考虑，我们的方法没有明确的关于摄像机参数/位置或信息，例如火车速度。这防止了某些常用技术的使用，例如反向透视映射(并防止与使用此类技术的其他方法进行比较)。此外，许多设计选择都被采纳，这样我们的方法就可以在不需要专门的硬件的情况下快速地运行。评估是在实际操作条件下拍摄的几个小时的视频中进行的，考虑到相机的云台控制系统的要求，在一个云台控制单元(PTU)上安装有变焦镜头的相机总是指向轨道。这允许从前面的区域捕获图像，并增加分辨率，对于像对象识别这样的应用程序来说是一个很有用的特性。
该方法的早期版本已经出现在[13]中。新的改进包括一种半自动方法，用于为短距离和多个提取器产生轨道模式，以提高远距离的提取精确性。此外，本文还提供了一种更详细的评价方法。简单起见，本文中给出的一些结果并没有在这里重复。关于自动参数选择过程的更详细的信息，以及与Kaleli和Akgul[5]的方法相比，所提出的方法被证明优于方法[13]。
本文的剩余部分如下:第二部分描述了铁路提取的建议方法。第三部分介绍了其在摄像机云台控制系统中的应用。第四节详细介绍实验结果，并在第五节中给出结论。
二 .提出铁路提取的方法。
我们提出以下问题的假设。
bull;包含铁轨的图像区域通常响应强烈。过滤器，如在[9]中讨论的。然而,在可以是不发生这种情况的部分铁轨应如何处理。此外，轨道床上的其他物体经常产生比铁轨更强大的响应。
bull;导轨有光滑和缓慢变化的曲率。轨道可以用模型来近似，Pixel-per-pixel分类不是必需的。
bull;立即出现在该地区的铁轨火车的前部变化有限。
bull;铁轨是平行的，透视效应产生了误差。他们之间(铁路轨距)在图像上呈反比，与相机的距离成比例。
bull;铁轨的位置和曲率并不完全等同于连续帧之间变化。
图2 Rails被建模为抛物线段的序列。
该方法由几个参数控制，利用基于地面实况数据的自动优化方法对数千种配置进行测试，得到了这些参数的值。参见[13]了解更多细节。有些参数是在像素单元中给出的，这是之前列出的“无摄像机参数”假设的一个副作用。这意味着，如果输入分辨率与示例数据有很大不同，则必须重复整个参数选择过程。
A:铁路模型
铁路问题的特征使得使用纯粹的本地信息很难对单个像素进行分类。对于这个特征，我们通过将每个轨道建模为一个抛物线段的序列来近似钢轨的形状:一个短距离的单个段和长距离的多个段。该模型由两个这样的序列组成，每个序列对应一个段。铁路模式是铁路模型的部分或全部实例。这个模型被选中,是因为它允许快速增量提取过程表示为直线段的轨道曲率比序列,以及抛物线或回旋曲线不能代表,比如S-turn或直接跟踪曲线只能在远处紧随其后。
图3 短距离的模式图像的例子。
B.在短距离内定位轨道。
为了达到在短距离内找到轨道，从输入图像中提取边缘，并匹配预先计算的轨道这一目的，还探讨了视频的顺序性，并提高了精确性。这里详细介绍了这些步骤，最后介绍了生成轨道模式的算法，因为它构建在用于匹配的同一个框架上。
1)边缘提取(短距离):为了提取边缘，我们用一个均值为3的平均滤波器平滑图像，并计算每个位置的响应，以检测到比周围环境更亮或更暗的区域。在坐标x中，给出了一个与I(x)有关的像素的响应。
然后，用非最大图像抑制的方法对响应进行滞后阈值处理。为了处理不同的光照和杂波，我们根据前一帧的结果动态地获取阈值。这个想法是要尽量使边缘像素的比例保持在一个区间内。这些值不应该太低，所以不包括轨道像素，但也不要太高，不然图像就会变得杂乱。e和T0分别为边缘像素的比例和前一帧的阈值，当前帧的阈值T设置为max(0, T0 )，如果e lt; emin，则T=T0 1，如果e gt; emax，则T=-T0，迟滞阈值设置为2T。对于第一个帧，T迭代地增加，直到最大的值，以便找到emax。在我们的实验中，emin = 0.11， emax = 0.19。
2）抛物线提取（短距离）:在杂乱的边缘映射中找出抛物线，判断它们是否对应于铁轨是一个处理器密集型任务。为了更快地提高钢轨的提取速度，我们的方法考虑了在短距离内预先计算出的候选轨道模式，探索轨道在摄像机附近的外观的有限变化。这些模式隐含地编码了有关摄像机参数和位置、轨规和曲率的信息，以及由火车运动引起的变化。
匹配分数从倒角距离[14]得到。倒角距离可以用来测量形状的不均匀性，对杂波和不连续性有很强的区分，并允许使用图像金字塔进行快速计算。取一个模式图像P和一个窗口，它定义了提取边缘映射的子区域Ie。从P到Ie的倒角距离c定义为每个像素点到Ie的边缘像素点的平均欧几里得距离。给定M，这是匹配的最大倒角距离(在我们的实验中是1.5)，匹配的分数是max(0, M c/M)。
图4 三个位置的三个模式的匹配得分。该图像的最佳匹配得分为0.89，为模式p0，窗口为x = 242。
图5 下一帧(短距离)获取权重
- 利用时间信息:探索了输入的顺序性，使轨道提取更快、更准确。在连续的框架中，轨道应该具有相似的位置和曲率。如图5所示，这是通过使用两组权重取值范围从0到1的数组来探索的:一个是位置，一个是方向趋势。如果在前一帧中没有匹配，那么所有的权重都设置为1。否则，取W，这是像素的图像宽度，s和(x, y)分别是前一帧的最佳匹配的得分和位置。位置的数组,我们用一个高斯函数与sigma;= W / 8·(1minus;s)2和中心x。如果在前一帧,没有匹配列x,xplusmn;1,x被迫0的重量。至于趋势方向数组,我们用一个高斯函数与sigma;= W / 16·(1minus;s),集中在轨距与y之间的匹配分数乘以权重,所以不需要计算任何重量的为0。
表1
4)产生轨道模式(短距离):在离线阶段产生短距离的模式，结果可以验证，不需要实时处理。这个过程是基于在火车运行时捕获的一个测试视频。该视频必须是整个轨道的代表，代表的轨道将被提取。当摄像机位置发生变化时，需要新的模式和新的测试视频。
这个过程始于对地平线的粗略估计。许多方法可以用于此目的，例如，基于边缘[5], [12], [15]或纹理[16]的方向。我们的方法采用SURF[17]，在测试视频中提取和匹配帧，允许对光流进行粗略估计。从光流中得到的投影线趋向于接近于靠近地平线的膨胀焦点。最后的估计是通过平均几个帧的结果得到的。
地平线行yh决定了短距离和远距离的图像区域。给定yb，即图像行数，最下面的hs = yb- yh/2行是近距离区域，由行y = yb- hs和yb- 1进行分隔。对于许多应用程序，必须将轨距提取到参数D定义的某个距离(我们的实验中为0.85)。远程图像区域是由行分隔开的yt= ybminus;D(ybminus;yh)和yminus;1。
模式生成是基于第II-B2部分中所定义的匹配框架。我们使用一个爬坡优化方法，在多个图像位置生成和测试候选的抛物线段，反复细化有希望的组合，直到匹配的分数达到局部最大值。有效的候选人必须在给定的最小值之上有匹配的分数，并且在给定的边界内，铁路轨距必须与摄像机的距离不断减小。为了安全起见，在第一个框架中找到的最佳候选对象将呈现给用户，用户必须确认它是轨距的“良好”近似。在此之后，对于测试视频中的每一个帧，算法检查是否已经生成的模式中有一个匹配的值高于最小值。如果没有找到匹配，爬坡过程是重复的，从上一帧的最佳匹配开始。任何一排的铁路轨距都应该保持在90%到10%之间。
C.在长距离中定位轨道。
为了给被考虑的subre- gion生成候选轨道模式，我们将每个叶节点连同其父节点，这些节点中的控制点定义了两个抛物线。
叶节点及其父节点对估计坐标产生影响。对于每一个叶节点，我们每条轨道产生17个变化，水平间隔为3个像素。然后，对289对抛物线段的每一组进行匹配，然后用相同的方法在短距离内使用。每个设置的最大距离M分别为3.2、3.0、2.8和3.4。此外，对于第三个设置，使用Chebyshev距离[18]，而不是使用Euclidean距离。
为了提高精确性和处理速度，匹配的分数乘以若干规则的权重。如果一个规则显示了候选模式的零权重，那么它的匹配分数就不需要计算。给定W，即像素点的图像宽度，以及(xl, y)和(xr, y)，分别是表示左右轨道的抛物线段的点，这里给出了每个候选模式的规则。
对于四种集合的每一种，距离是独立执行的。然后将结果合并成一个最终的解决方案，由控制点描述，与第一次设置相同的垂直坐标。水平坐标是由每个提取器在这些行上的平均坐标给出的，由每个提取器的最佳累积分数加权。无法完成所有算法迭代的提取器被忽略。在第四节中，我们展示了如何使用多个提取器来影响最终结果的准确性。
图6 在长距离中提取轨道的算法的迭代。(a)在下面发现的Rails和被认为的分区域。(b)下方轨道的投影 (c)投影的变化(在我们的执行中，这里有9条铁路和17条铁路) (d)加权匹配得分最高的变化(B = 1，在执行中B = 4)。
下面提出了一种实用的钢轨提取方法:控制一个带有变焦镜头相机的PTU。PTU的定位是基于由固定相机捕捉到的图像的轨道提取结果决定的。图7展示了我们的样机，相机和PTU安装在一个带有陀螺稳定器的防振平台上。该系统的目标是通过增加分辨率来生成来自该区域的图像，这对于像对象识别这样的应用程序来说是一个很有用的特性。图8显示了该系统的输出。
图7 我们的原型相机pan-tilt控制系统
图8 输出从相机泛倾斜控制系统
我们从固定相机中提取图像，并定义一个宽度W/z和高度H/z的目标窗口，其中z为缩放级别，W和H分别为原始图像的宽度和高度。这个窗口是定位的，所以它的bot- tommost坐标与yt是一致的，这是轨道被提取的最高的行。然后，我们用两个最顶端的抛物线段之间的中心线，表示长距离的轨道，并在垂直坐标yt = H/2z上进行投影。这给出了目标窗口中心的坐标，它决定了PTU的位置。
在这一节中，我们讨论了对拟定的铁路提取方法进行了eval- uate的实验。我们已经考虑了相机云台控制系统的要求，但结果和结论更普遍，适用于其他场景。
A.实验装置
所有的测试都是在一台笔记本电脑上进行的，它有一个四核的1.87-
全文共6579字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[9170]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
