英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料
基于视觉的目标检测和本地化通过合作无人机和无人地面车辆的团队
摘 要
无人车在自主监控场景中发挥着关键性的作用。这些无人车承担的自主巡逻任务主要是探测目标并实时找到自己的位置。在本文中，提出了一种新的基于视觉的目标检测与定位，利用不同种类功能无人车作为团队合作的系统。
本文考虑的情况是一个无人驾驶飞行器和多个无人地面车辆的队伍跟踪和控制边境地区的人群。自定义运动检测算法被应用于检测安装在无人机上的移动摄像机捕获到的人群。由于无人机的分辨率较低和检测范围较宽，所以拿具有较高分辨率和保真度的无人地面车辆用作单独的人类检测器，以及移动界标，以在每个时间点以未知的独立移动模式定位检测到的人群。在本文中提出的无人机的定位算法，使用透视变换将人群的图像位置转换为他们的真实世界位置。还呈现了通过无人地面车辆的经验法则定位方法，其估计所检测到的个体的地理位置。此外，基于代理的仿真模型开发用于系统验证，具有不同的参数，例如飞行高度，地标数量和地标分配方法。本文考虑的性能测量是估计位置和人群的模拟地理航点之间的平均欧氏距离。实验结果表明了无人车自动监测的框架的有效性。
1 引言
无人车辆是人类在某些危险，乏味，肮脏或不可能应用中的适当替代[1]。如今，不同类型的无人车辆，包括无人驾驶飞行器以及无人驾驶地面车辆，被用于监视，人群控制，巡逻，消防，农业，导航和搜索和救援等目的。用户可以远程计划任务，或者可以通过传感器和致动器在船上进行控制，这取决于车辆的自主程度。在大多数自主的情况下，第一功能步骤是通过一些传感器检测目标，并识别它们的真实位置以便实现进一步的操作。根据[3]，分析方法多种多样，但因为视觉传感器成本低，所以它们是监测应用中目标检测最常见的传感器。本文的重点领域是针对于这种类型的应用，基于视觉的人类检测方法一般分为两个子模块：
- 运动检测：其目标是检测运动中的目标
2）分类：基于一些已知的特征将检测到的目标转换为人类类别。
在本文中，我们在[5]中进一步开发了以前的基于光流的运动检测算法，通过无人机进行的保真户外人群检测，由于光流在准确性和成本方面的有希望的表现。然而，考虑到来自无人机的低分辨率图像，分类将更具挑战性。因此，我们建议将更高分辨率的无人地面车辆视觉传感器用于距离目标的更近距离和水平视野以实现高保真的分类。在本文中，应用来自无人地面车辆摄像机的个体，定向梯度的直方图在中间到较高分辨率图像具有显着性能。因此，无人机和无人地面车辆可以有助于提高人群检测和本地化的监控效果
为了跟踪检测到的目标，其位置是先验未知的，无人车需要目标的实时世界坐标（与其图像位置相反，其是检测算法的输出），以便它们可以预测其目标未来的位置，并计划连续的时间戳的路线[6]。将图像位置转换为现实世界的位置需要相机位置和方向，或者几个地标位置，后者主要通过它们的唯一标识符来检测。为了基于无人机摄像机姿态（即其位置和姿态[7]）来定位目标，应当基于全球定位系统考虑无人机的3D位置（纬度，距离和高度）。然而，通过使用这种方法来解决定位问题，GPS接收机的横向和垂直定位误差将有助于目标位置估计的误差源。因此，我们利用具有已知2维地理位置的无人地面车辆（仅具有侧向定位误差）作为独立移动的地标。然后，考虑到地标（即无人地面车辆）和目标（即，人群）位于每个位置附近的事实，计算了用于将图像位置实时地转换为现实世界位置的高效透视变换阵列另一个在同一平面上，以便在两个平面（即图像和监视区域）之间进行准确的变换。本文对该设计开展了实验，完成了验证。
图1.使用无人机和至少四个无人地面车辆进行检测和定位的总体框架，作为人群定位的移动地标。
在本文中，我们考虑了一个无人机和多个无人地面车辆的合作团队，配备有视觉传感器，来监控亚利桑那州图森边境地区的人群。本文的目的是提出一个有效的基于视觉的合作紫外线监测框架。基于无人机和无人地面车辆的不同能力和目标，我们定制并进一步开发了不同保真度的各种检测和分类方法，实时进行两层人群检测。特别是针对目标的现实世界本地化，提出了基于移动地标检测和平面视角转换的新方法。本文首先提出了这种方法。此外，我们提出了一种启发式方法，通过无人地面车辆普通摄像机在户外环境中检测个体。图1描述了本文提出的一般框架工作和无人机-无人地面车辆团队组织。
本文的其余部分安排如下：
第二部分在两个不同的主题中回顾相关文献。
- 介绍了通过无人机和无人地面车辆应用的两个人群检测算法（作为本地化先决条件）的细节。
- 第四节详细讨论了基于移动地标的无人机的定位算法。此外，本节还包括通过无人地面车辆进行本地化的经验法则。
- 第五部分讨论了测试台设置和实验结果，其中显示了所提出的工作的有效性，第六部分总结了本文，并提出了未来的工作思路。
2 背景和相关工作
近年来，在无人机和无人地面车辆领域应用计算机视觉方法不断改进，以处理来自环境的捕获的图像序列和视频，以便以决策的形式产生数字或符号信息。一些研究论文通过视觉传感器在监视或搜索和救援应用中研究了无人机或无人机和无人地面车辆团队的自主部署和形成控制问题。这些研究中的目标定位主要是指机器人的视觉定位，以补偿缺乏准确的定位系统。此外，无人机的GPS数据通常用于和其他无人车的定位。然而，在本文中，应用计算机视觉方法通过具有已知地理位置的合作无人地面车辆来检测，识别和准确地将未知目标=地理定位，以减少定位误差的来源，并增加鲁棒性。
2.1 人群检测
根据[11]，检测技术主要是针对跟踪特征，其中，我们使用基于运动的技术来检测移动人群。在[13]中，运动检测方法常规分为：1）背景差分法; 2）时空间滤波; 3）光流算法。背景差分法尝试通过考虑与参考相比较的当前帧的差异来分割移动前景。然而，当使用静态或俯仰变焦相机时，该技术更有效。时空间滤波技术表征整个帧序列中移动对象的运动模式;但它对噪音和运动模式的变化更为敏感。然而，基于光流算法的技术考虑到观察者和场景之间的相关运动，因此对于摄像机和目标的同时运动更加鲁棒。还提出光流算法是用于使用安装在无人机上的相机的运动检测的最流行的分析技术[13]。这激发了我们在本文中考虑了无人机的基于光流的运动检测。
在无人机检测到移动目标后，需要对人类和非人群进行分类的另一个步骤，为此，我们使用与目标距离更近的无人地面车辆。 保罗等人[4]讨论了移动物体可以根据其形状，运动特性或纹理进行分类。 基于形状的方法使用模式识别方法，由于各种身体位置，信号也不同[4]。另一方面，基于运动的技术是基于一个关键的假设，即目标的运动特征足够独特，可被认可。然而，这些方法依赖于预定义运动的学习，并且仅限于识别移动的人。 基于纹理的方法克服了这一限制，提供了改进的检测质量以及更好的人类分类准确性。 作为一种众所周知的基于纹理的技术，HOG在图像边缘应用高维特征向量。
然后使用支持向量机（SVM）作为监督学习模型库的集合进行数据分析，对对象进行分类。根据[14]，当图像分辨率足够高时，HOG 具有优于其他最先进的用于车辆上的人类检测的系统的优点。由于无人地面车辆具有更高分辨率的人群立体视野，因此我们以较高的保真度定制并应用了HOG算法进行人体检测，这也为我们提供了检测到的个体的图像位置。
2.1 目标位置的确定
目标的准确位置（本文中的人群）是跟踪，恢复和未来处理所必需的。根据[15]，本地化有两种主要方法：1）立体视觉，其中从多个摄像机的图像坐标中提取目标位置，2）单目视觉，其目标位置从其图像位置在单个摄像头，主要是通过摄像机校准。立体视觉不适用于我们的问题，因为我们认为每个无人机组中的一个无人机提供人群运动的低保真大图，因此我们无法访问同一目标的多重视图多台摄像机。注意，我们不能在立体视觉设置中组合来自无人机和无人地面车辆的图像坐标，因为它们对人群和个人检测的保真度是不同的。因此，本文仅使用基于单眼视觉的定位实例。
许多论文已经研究了来自固定式飞行器的目标定位，具有低的高低速度。然而，这些方法在我们这种情况下不是应用的，因为与无人机有关的高度复杂性和较低的飞行稳定性。基于我们的假设，无人机只能提供移动人群的低保真度检测。此外，车载计算资源的无人机由于其有效载荷限制而受到限制。
在非平稳高空作业车的情况下，Redding等[18]讨论了一种使用递归最小二乘滤波器找到地面静止目标的地理位置的方法。然而，无人机的3D地理位置以及相机方向应该提前准确地确定，因此增加了问题的复杂性。一般来说，几何相机校准需要估计11个未知的内在和外在摄像机参数，因此，我们已将基于地标的本地化视为实时应用该过程的较不复杂的替代方案。
在单目视觉文献中，地标已被广泛应用于诸如导航或机器人自身定位的应用中。在[19]中，提出了一种双重姿态估计算法，其中作者通过机载摄像机检测和跟踪平面图案来计算机器人（即无人机）的姿态，以及通过定位在无人机上的地标外部摄像头然而，由于假设保留，它们固定地标之间的距离比例的转型缺乏灵活性。众所周知，在通过迭代（POSIT）算法进行正交和缩放的姿势中，Dementhon和Davis [7]在任何感兴趣对象上使用至少四个非共面点，其相对几何假设为已知的，以便找到物体。他们还利用相机的内在参数来找到已知对象的透视缩放。然而，如果对象上的非共面地标的相对几何形状未知，则算法将会收敛到不利的姿态或者不完全收敛。然而，在通过无人机进行群众监视的情况下，我们面临着一个未知的环境，其中使用具有预先服务的相对几何的固定地标并不总是可行的。我们需要使用已知真实位置的地标，这些位置可以与无人机的检测范围一起重新定位。因此，在本文中，我们提出通过本地化来独立移动地标，以未知的移动模式来变换检测到的目标的位置。
在本文中我们面临的另一个挑战是分配具有上述特征的适当移动地标。在我们的边境巡逻情况下，人员中的个人由于其低保真度设置而无法通过无人机进行检测，因此，我们无法将其身体部位（已知的相对几何）视为地标。因此，我们选择将无人地面车辆作为本文中的移动地标，进行更强大的转换，并根据地理图形信息系统（GIS），而不是无人机（即摄像机）的地理位置使用位置。原因是在最后的情况下，我们需要无人机的精确高度以及纬度和经度，这将导致更大的估计误差。此外，在我们提出的方法中，不需要预先找到相机的固有参数，这将省略相机校准过程（具有十一个未知参数）作为另一个不确定性来源。表I总结了本文的主要特点和假设，与POSIT方法相比。
为了估计目标对地面车辆（例如无人地面车辆）的位置并进行跟踪，一些研究工作使用诸如Microsoft Kinect的RGB-D传感器，其允许捕获每像素深度信息以及RGB图像。尽管室内3D映射的易用性和受欢迎程度，这些摄像机由于其检测范围有限而不适合户外应用。为了估计目标与常规摄像机的距离，Mora等[22]在机器人的室内环境自动注视控制应用中使用简单的三角法。在本文中，我们在我们的户外应用中提出一种启发式方法来估计基于无人地面车辆的被检测个体的2D地理位置相机姿势。
3 目标检测的前提
为了检测移动目标（即人群），我们对无人机和无人地面车辆应用了两种不同的方法。无人机通常具有检测范围广，搜索范围快，分辨率低，而无人地面车辆具有更好的检测分辨率，尽管检测范围更窄，遮蔽范围更窄，覆盖率更低[23]。这促使我们以合成的方式使用无人机和无人地面车辆的合作团队。为此，我们使用基于具有较慢背景运动的无人机的光流的运动检测算法和基于具有更高分辨率和目标特征图像的无人地面车辆的HOG的人类检测算法。此外，我们已经使用OpenCV作为开源计算机视觉库，以便有效地开发我们的检测算法来实时操作。本节详细讨论了这两种算法。
3.1 无人机的基于光流算法的运动检测
在本文中，我们进一步开发了[5]中提出的运动检测算法，以实时检测不同大小和移动速度的人群。每个检测间隔（可以根据计算资源设置为每个帧），算法首先提取一些关键点，这些关键点具有在子序列图像序列上跟踪的良好特征。在本文中，关键点使用 GFTT方法[24]进行分配，该方法对于旋转和空间运动是不变的。 GFTT使用自相关矩阵的两个大特征值对像素进行排序，然后选择一些像素作为关键点，其较小的特征值高于阈值。因此，这些像素更有可能代表角落。基于图像分辨率和照明（即对比度）确定上述阈值，使得较小的特征值足够大以补偿噪声。在[24]中详细讨论了设置该阈值上限和下限的方法。
为了使这些关键点在连续的帧上基于它们的位移匹配，我们应用稀疏光流概念，并使用金字塔形PLK算法来解决跟踪问题。跟踪问题是在每个检测到的GFTT关键点的邻域上的过度约束的方程组，并且需要针对后续帧中的关键点的速度矢量来求解。然后将最终解决方案制定为
（1）
在每个时间框架中，和是垂直和水平的像素的速度元素分别为关键点; 和是当前帧中的空间导数图像垂直和水平轴中的像素i关键点的邻域，而是相同像素的两个框架i之间的时间导数。
在匹配关键点并在当前帧中找到它们的位移之后，算法对两个连续的帧进行仿射变换，并将当前帧映射到前面的帧，如[5]所述。因此，相机运动将被补偿，背景可以被去除。接下来，可以使用绝对差分来分割移动前景。由于假设无人机的保
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[138752]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
