英语原文共 17 页
基于鲁棒特征提取和模型约束匹配的场地图像检索在移动机器人定位中的应用
岳峰，金昌仁，姜建民，霍尔维，乔斯
摘要 本文描述了一种新的移动机器人在室内环境中定位的系统，使用了从立体声和基于内容的图像检索技术（CBIR）的背景中借鉴的单应性和匹配等概念。为了处理关于视点和相机位置的变化，提取一组兴趣点（POI）以表示用于稳健匹配的图像。为了应对照明变化，我们建议使用均方根策略为每个视频帧产生对比度图像，从对应的对比度图像中提取所有POI以提供图像内容的测量。为了实现有效的图像匹配，提出了模型约束匹配的机器人行为建模，确定相应的POI对，然后使用RANSAC进行基于单应性的全局优化。同时，特定约束的应用还有助于排除集中的不相关帧以进一步提高效率和鲁棒性。所提出的方法已经成功应用于ImageCLEF研讨会的机器人视觉任务，实验结果充分展示了我们的方法在精度和鲁棒性方面的高性能。本文概述的系统和方法在ImageCLEF 2009中的可选任务组中排名第二。除了单独展示我们的方法的优点外，我们还说明了我们提出的方法与其他提交方法相比的好处。
关键词 基于内容的图像检索；机器人定位；计算机视觉；模型约束匹配 ·
1 引言
机器人视觉在航空航天，安全和军事等科学和工业中具有广泛的应用。例如，在航空航天领域，UAV（无人驾驶飞行器）依赖于全球定位系统（GPS）和在飞行期间捕获的视觉序列来导航。该过程要求系统检测地标以确定飞机的位置。另一个例子是在军事服务中，机器人经常被用来探索对士兵来说太危险的区域，即努力减少伤亡。这些类型的操作需要军事机器人注释其环境以便可以定位它。因此，对移动机器人的位置和运动的恒定和精确的要求非常关键。
移动机器人的关键目标之一是提供一种自主移动机器人，能够在不同环境下的各种任务中发挥作用。为此，机器人需要能够识别其位置;这可以通过某种本地化方法来实现，并且已经导致了一个重要的主题和研究领域，即移动机器人本地化。多年来移动机器人本地化一直是人们关注的话题，旨在确定机器人在地图或学习地图中的位置。给定初始机器人位置，局部跟踪是随时间跟踪其位置的问题。全球本地化为移动机器人提供了处理初始化和从遮挡中恢复的能力.与基于传感器的定位相比，我们非常期望使用自然界标的基于视觉的定位。声纳传感器和测距仪等传感器可能会因反射而出现问题。仅使用可视化信息进行本地化时，可以消除此问题。
本文介绍了我们最近对基于视觉的移动机器人定位的研究，这是我们提交ImageCLEF 2009机器人视觉任务的基础.该任务的目标是使用视觉信息解决移动机器人的拓扑定位问题。给定测试序列，系统/算法必须能够提供关于机器人位置的信息，其中相关位置信息的一部分在训练中可用。由于机器人的确定位置可以被视为一种注释，因此相应的任务被认为是图像注释和检索的扩展。该任务的细节在后文中讨论。
为了为所概述的任务提供解决方案，我们提出以下解决方案，试图解决和克服所涉及的许多困难。本文的主要新颖性是一种获取图像表示的鲁棒特征提取的方法，以及模型约束匹配方案，其中机器人的运动行为被建模以指导整个过程。首先，为每个视频帧产生对比度图像，其可以提供与照明变化的图像内容的感知一致的测量。其次，从对应的对比图像中提取一组POI，用于图像的特征表示，视点和摄像机位置是不变的。第三，针对POI的模型约束匹配建模机器人行为，其中归一化互相关和RANSAC分别应用于确定相应的POI对并确定两组POI对之间的单应性。值得注意的是，通过排除不相关样本，模型特定约束可以帮助提高效率，准确性和鲁棒性方面的匹配性能。
本文的其余部分安排如下。在第二节我们描述了机器人视觉领域的先进技术水平，并概述了ImageCLEF 2009中机器人视觉任务的目标。第三节提出了基本的POI探测器及其衍生的对比图像的改进版本。在第四节给出了模型约束匹配的机器人行为建模。ImageCLEF 2009的实验结果和讨论见第五节。最后在第六节中提出了一些结论性意见。
2 相关任务
在本节中，我们将介绍移动机器人本地化领域的最新技术，包括该领域的一般解决方案以及 ImageCLEF 2009的特定要求。由于这是第一次在ImageCLEF研讨会中引入移动机器人视觉任务基准测试，还提供了任务和研讨会的相应细节。
2.1 以前的工作一般移动机器人本地化
Castellanos提出了一种基于地标的地图采集和机器人定位的方法，其中实现了诸如电荷耦合器件（CCD）相机和2-D激光测距仪的外部机制的使用。在本工作中解决的案例中，机器人遵循预定义的轨迹并定期停止以获取信息。手动获取补充信息，其提供机器人相对于基准参考的真实位置。Yamauchi提出了一种具有连续定位的映射算法。Sonar对激光测距仪的使用和激光测距数据更有信心。该映射基于某种称为基于边界的探索。概述的算法基于传感器模型和配置，以及所选特征的可检测性。在传感器系统不可靠的许多情况下，由于例如超声换能器或者由于诸如镜面反射或串扰的影响，这些建模方法具有其他问题。此外，这些程序高度依赖任务，因此需要根据勘探中的特定环境条件重新调整其参数。
最近，人们越来越关注基于视觉的机器人定位方法，这种方法主要用于机器人导航和位置识别基于视觉的机器人定位的主要困难是如何学习和确定关于视点变化的环境视图，这可以导致例如不同的照明和遮挡。大多数现有的视觉特征都受到不同观点的影响，因此这些因素对于系统至关重要。
最流行的基于视觉的方法可以分为界标识别，几何识别，对象识别和概率方法。此领域的大量工作涉及基于地标的方法，这些方法使用局部特征来检测垂直线或用于控制机器人运动的特定标志.使用此方法的系统类型通常需要环境的先验地图。例如，Sim和Dudeck使用场景的区域和具有大量边缘的图像作为自然地标。基于地标的方法的主要优点是它们具有有限的累积误差。尽管这些特征易于提取，但它们并不总是可用于图像序列。
几何方法主要依靠稀疏特征（例如POI和直边）来描述给定场景，然后是图像匹配算法，以便将查询图像的视觉特征与数据库中的图像相匹配。例如，Althaus等人。使用检测到的边缘等线条特征来确定走廊和门口。Ohya等人首先从训练图像作为模型渲染期望图像，然后分别通过匹配从模型图像和查询图像提取的边缘来确定机器人的当前位置。然而，它们通过使用对象识别技术的本地化已被证明是一种有前途的方法，因为这些方法利用自然特征。
到目前为止，我们已经强调了解决机器人视觉相关难题的各种方法。在下面的小节中，我们将描述 ImageCLEF 2009中新机器人视觉任务的难点，挑战和细节。
2.2 ImageCLEF研讨会中的机器人视觉任务
根据官方网页，ImageCLEF是从2003年开始作为跨语言评估论坛（CLEF）活动的一部分运行的跨语言图像检索机器人图像。因此，定义了高优先级的任务，并且当仅来自测试序列的一些图像可用或者序列被加扰时，要求参与者分别为每个测试图像提供关于机器人的位置的信息。这对应于全局拓扑定位的问题，其中不需要时间信息的连续性。同时，还定义了用于机器人定位的可选任务，其中利用序列的连续性并且依赖于在分类图像被允许之前获取的测试图像。应该注意的是，对于研讨会，如果将来的帧信息用于对当前帧信息进行分类，则算法将被视为无效。由于在我们的精确匹配方法中采用了时态信息，因此我们的工作在可选任务组中。
ImageCLEF 2009的机器人视觉任务为用户提供了一个通用的数据集和测试平台，可以对机器人定位技术的最新技术进行评估和排序。对于所有参与者，提供一组训练数据，包括在给定时间记录在室内环境中的图像序列，其包括五个房间子部分（厨房，打印机区域，一人办公室，两人办公室和走廊） ）在三种不同的照明条件下（晴天，阴天和夜晚）。机器人视觉任务参与者面临的挑战是建立一个能够回答“我在哪里？”这个问题的系统。（我在厨房，走廊等），即将每个测试图像分配给五个场地中的一个，或者指示图像来自未知的房间。此外，系统是允许的不做出决定（例如在缺乏信心的情况下）。由于假设机器人的移动速度有限，这允许图像匹配功能在可预测的可能匹配范围内工作。
环境的平面图和不同照明条件下的不同房间的样本示于图3和4中。1 和2， 分别。如图所示。1，这五个区域设置具有完全不同的布局和设置。虽然可以很容易地被人类识别出来，但前提是可以看到场地的整个“形象”。但是，如图所示。2当机器人只能观察场地的一小部分时，这变得非常困难，任务的额外困难包括照明条件和摄像机视点的变化。由于在训练序列之后6-20个月获得测试图像，因此这种变化是不可避免的，并且还可能引入更多困难，如下所述。
由于捕获图像中的不可预测的内容变化引入了一个额外的困难，包括添加，移除或重新定位人或非人物体。后者可以被发现为椅子，窗帘，房间装饰器和桌子上的小物件等家具。因此，用于机器人定位的图像匹配需要对这种变化不敏感。
此外，不受培训但用于测试的房间也使整个任务更具挑战性。由于办公场所共享共同的环境和建筑条件，如图1所示。2，他们的图像显示非常相似的背景和类似的家具设置。结果，找到一个未知的房间成为这项任务的一个极其困难的问题。
为了克服这些困难，我们在ImageCLEF 2009中的机器人视觉任务中提出了基于点的特征提取和模型约束匹配以实现自动机器人定位。该系统主要用于自主导航，其中有限的环境知识可用。这里的主要假设是从场景中提取的内容信息提供了足够的匹配特征。值得注意的是，这是使用基于视觉的方法而不是外部传感器实现的，相关细节将在接下来的两节中讨论。
3 准确而强大的POI检测
实时机器人位置检测系统的一个关键要求是其在图像匹配方面的快速性能。为了在数据库中找到与移动机器人最相似的图像，我们必须解决的匹配问题是通过全搜索的所谓基于强度的图像匹配之一.该方法捕获两个图像的强度分布之间的相似性。给定来自一个图像的一个像素的强度值，它搜索循环通过另一个图像上的所有像素以找到最佳匹配。这产生了系统效率的问题，例如同质纹理域中的像素包含高冗余度。因此，在我们的方法中，特别注意选择具有较高信息内容的区域而不是使用所有像素。
POI的检测最近在计算机视觉领域受到越来越多的关注。兴趣点是图像中富含本地信息内容的点。另外，兴趣点在图像域中的局部和全局扰动下是稳定的，包括诸如由透视变换以及照明变化引起的变形，使得可以以高度再现性可靠地计算兴趣点。考虑到这些字符，通过POI进行图像匹配即可
对于我们在图像搜索中找到相关图像的任务来说，这是一个很好的解决方案，特别是考虑到它在光照系变化。在我们的方法中，我们选择了拐角特征作为POI，因为拐角是离散的，并且对于比例和旋转变化部分不变。
4 用于机器人定位的模型约束匹配
给定训练和测试序列中提取的POI，下一步是计算每个测试帧与训练序列中所有帧之间的相似性，以找到最佳匹配，以便测试帧将被注释为与之相关的场所。训练集的匹配帧。为了提高效率和准确性，应用特定于应用的约束来匹配POI。以下小节概述了此特征匹配策略以及模型约束框架注释的相关详细信息。
4.1 机器人行为的应用特定建模
通过研究作为ImageCLEF 2009中机器人视觉任务的一部分发布的环境设置和训练序列，我们发现机器人不会“运行”并且机器人的行为受环境设置的限制。这些约束可以归纳为如下三个规则。
规则1：时间长度。机器人停留在一个场地的时间总是超过3秒，即5帧/秒的15个连续帧。因此，机器人将不会在一个地方停留小于N0 帧的时段，其中N0 被确定为20，作为统计分析训练序列的结果。
规则2：跳楼。机器人在进入其他场所（如厨房，办公室和打印机区域）之前必须穿过走廊。换句话说，机器人不能绕过走廊从一个地方走到另一个地方，即不允许跳楼。
规则3：未知房间。由于测试序列包含未包括在训练序列中的额外房间，因此训练集中没有相应的框架可用于注释这些房间。另外，由于图像匹配算法的性质，一个测试帧将用训练集中最相似的帧注释，虚假注释似乎是不可避免的。然而，在我们的系统中，发现未知帧和训练帧之间的一致性非常有限。这形成了另一个识别未知房间的规则，即任何低于给定阈值的一致性的测试框架将被注释为未知房间，有关如何定义这种一致性的详细信息在4.3中列出。
通过观察数据集和机器人的行为生成上述规则;可以说它们非常适用于ImageCLEF 2009的机器人视觉任务。但是，这种方法可以适用于机器人视觉和定位的其他数据集，因为一般来说机器人的运动行为总是如此受限于特定的封闭环境。由于本文的重点是上述方法的应用，我们保留了对未来工作的更通用解决方案的探索。
4.2 模型约束匹配
为了便于应用上述三个机器人定位规则，我们的系统采用了模型约束特征匹配。当不存在先前的定位信息时，例如对于序列的第一帧，需要与训练集中的所有帧进行穷举匹配。相应地，测试框架将被分为六个可能的场所之一，包括打印机区域，走廊，两人办公室，一人办公室，厨房或未知房间（应用规则3）。接下来，剩余的两个规则作为匹配过程的一部分应用如下。
如果在场地内发现机器人的帧数小于N0 ，则再次应用全搜索。否则，本地化被视为稳定（应用规则1），本地化过程将进入下一步（应用规则2）。
假设机器人被确定在特定场所而不是走廊中稳定，在下一帧中，机器人只能出现在两个场地中，即保留在同一场地
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
