英语原文共 23 页，剩余内容已隐藏，支付完成后下载完整资料
研究道路上的车辆：基于视觉的车辆检测，跟踪和行为分析的调查
Sayanan Sivaraman, Member, IEEE, and Mohan Manubhai Trivedi, Fellow, IEEE
摘要 - 本文综述了基于视觉的道路车辆检测，跟踪和行为理解的文献。在过去的十年中，基于视觉的环绕感知已经发展成熟。我们对文献中近期的工作进行了调查，将基于视觉的车辆检测放在基于传感器的道路环绕分析中。我们详细介绍车辆检测方面的进展，讨论单目，立体视觉和主动传感器 - 视觉融合以用于道路车辆检测。我们在单眼和立体视觉领域讨论基于视觉的车辆跟踪，分析滤波，估计和动力学模型。我们讨论了利用时空测量，轨迹和各种特征来描述道路行为的智能车辆研究的新兴分支。我们提供关于最新技术状态的讨论，详细说明常见的性能指标和基准，并提供有关该领域未来研究方向的观点。
索引术语 - 计算机视觉，智能车辆，机器学习，物体检测，物体追踪。
Ⅰ.简介
在美国，每年有数以万计的司机和乘客在道路上死亡，大多数致命车祸涉及多辆汽车[1]。 先进传感，环境感知和智能驾驶辅助系统的研究和开发工作旨在挽救生命并减少路上死亡人数。 在过去的十年中，为开发智能驾驶辅助系统和自动驾驶汽车而进行了大量的研究工作，旨在通过监测道路环境来提高安全性。
尤其是，在过去的十年中，车辆的路面检测一直是研究人员非常感兴趣的话题[2]。 各种传感模式已经可用于道路车辆检测，包括雷达，激光雷达和计算机视觉。 成像技术近年来取得了巨大的进步。 相机比以往更便宜，体积更小，质量更高。 同时，计算能力大幅增加。 此外，近年来，我们看到了面向并行化的计算平台的出现，如多核处理和图形处理单元（GPU）。 这种硬件的进步使得用于车辆检测的计算机视觉方法能够追求实时的实施。
随着相机感应技术和计算技术的进步，使用单眼视觉，立体视觉和传感器与视觉融合的车辆检测技术的进步一直是智能车辆界非常活跃的研究领域。 道路车辆追踪也被广泛研究。 目前，研究报告已经司空见惯地报道了在长时间内实时可靠地检测和跟踪车辆的能力[3]，[5]。 理论性，实践性和算法的进步打开了寻求路上车辆行为的语义解释的更高水平的研究机会。 这种来自车辆检测和跟踪的时空信息的集合可用于识别机动，并学习，建模和分类路上行为。
图1描绘了视觉在道路解释中的使用。 在最底层，各种运动和外观线索用于道路车辆检测。 一级检测到的车辆跨越车架相关联，允许车辆追踪。 车辆跟踪测量检测到的车辆运动的动态。 在最高级别上，时空特征的集合允许表征车辆行为，识别特定机动动作，行为分类和长期运动预测。 这一新生领域的工作实例包括转弯行为预测[3]，车道变化预测[6]以及典型路上行为建模[4]。
在本文中，我们提供了基于视觉的车辆检测，跟踪和路上行为分析的综述。我们将自己的努力集中在自2005年以来发表的作品上，并提请读者[2]查阅以前的作品。我们将基于视觉的车辆检测放置在路上环境感知的背景下，并简要地详述了通常用于车辆检测的免费模式，即雷达和激光雷达。然后，我们回顾基于视觉的车辆检测，评论单目视觉，立体视觉，单目立体组合，以及基于视觉的车辆检测的传感器融合方法。我们使用视觉讨论车辆跟踪，详细介绍图像平面和三维技术，用于建模，测量和过滤道路上的车辆动态。然后，我们讨论新兴的算法，这些算法适用于使用spa时间线索分析车辆行为，包括建模，学习，分类和预测车辆动作和目标。我们提供我们对基于视觉的车辆检测，跟踪和行为分析的未来研究方向的见解和观点。
II. 路面环境感知
虽然本文的重点在于基于视觉的车辆检测，但是也应该对目前在道路车辆检测中使用的复合模式进行简要处理。 我们一般讨论基于传感器的车辆检测，以将基于视觉的车
辆检测放置在道路环境感知的整体环境中。 我们借此机会讨论各种感应模式给车辆检测带来的概念上的相似性和差异，并讨论数据融合和系统集成的新兴途径。 特别是，我们简要讨论毫米波雷达和激光雷达的使用，以及计算机视觉，用于道路车辆检测。 表I总结了雷达，激光雷达和车辆检测视觉之间的比较。
毫米波雷达广泛用于检测道路上的车辆。 雷达技术已进入生产应用，其应用包括自适应巡航控制（ACC）和侧面警告辅助[7]，[8]。 典型地，发射频率调制的连续波形信号。 它的反射被接收和解调，并分析频率内容。 接收信号中的频移用于测量到被检测物体的距离。 然后根据运动特征对检测到的物体进行跟踪和过滤，以识别车辆和其他障碍物[7]。 用于ACC的雷达传感通常具有狭窄的视角，非常适合检测自行车道上的物体。 图2（a）描绘了用于道路车辆检测的雷达的操作。
雷达感测对于窄视野应用非常有效，检测并跟踪自我车道中的前方车辆。 雷达车辆追踪在不同的天气和照明条件下工作情况相
当一致。 然而，车载雷达传感器的车辆检测视角并不广泛，并且难以跟踪十字路口的交叉交通。 此外，测量非常嘈杂，需要大量过滤和降噪。 基于雷达的车辆跟踪不会严格检测车辆，而是检测并跟踪物体，并根据相对运动将它们分类为车辆。
由于激光器，传感器阵列和计算成本的改善，近年来流行车辆检测激光雷达的普及率有所提高。 激光雷达已被广泛用于自动驾驶车辆的障碍物检测[9]，并开始进入驾驶辅助应用，如ACC [10]。 激光雷达传感系统以超过可见光谱的波长发射激光，一般在600
到1000纳米之间，通常以10-15赫兹扫描场景[11]。 测距仪的接收器然后感测背散射能量。 使用占用网格方法[10]，将感兴趣的对象从背景中分割出来。 然后根据大小和运动约束将分段的对象跟踪并分类为车辆。 图2（b）描述了用于道路车辆检测的激光雷达的操作。
车载激光雷达传感技术正在成为智能车辆的领先技术，与雷达相比，可提供更清晰的测量结果和更宽的视场，从而实现跨多车道的车辆跟踪。 然而，激光雷达感测对降水比雷达更敏感。 虽然成本仍然比较高，但价格在未来十年会继续下降。 基于激光雷达的车辆追踪不严格检测车辆; 而是检测，分割和跟踪表面和物体，并根据大小和运动将它们分类为车辆。
基于视觉的车辆检测使用一个或多个摄像头作为主传感器套件。 与激光雷达和雷达不同，相机不发射电磁能量，而是测量场景中的环境光。 在其最简单的形式中，数字成像系统由透镜和成像阵列组成，通常为电荷耦合器件或互补金属氧化物半导体。 在理想相机的视野内，三维世界中的点X通过透视投影映射到数字图像中的同质像素，如（1）[12]所示，即
K包含相机的内部参数，而g包含相机的外部参数。该映射将现实世界中的对象转换为图像平面中的表示，将单位从米转换为像素。如果使用多台摄像机，则应用根据极线约束的图像校正[12]，然后进行立体匹配。从相机捕捉图像的最终结果是像素阵列。在立体视觉的情况下，我们剩下两个像素阵列和一系列视差，用于在立体匹配之后计算距离。图2（c）描绘了使用视觉的车辆检测。
从像素到车辆并不简单。视觉对象检测系统是需要基于摄像头的感测来测量场景的光线，以及从原始图像数据中提取信息的计算机器[12]。与激光雷达或雷达不同，检测不能依赖反射参考信号。计算机视觉技术对于检测图像和视频中的车辆是必要的。虽然使用摄像头进行车辆检测通常需要更复杂的计算，但它还具有几个优点。
图像和视频提供了丰富的数据源，从中可以推测出更多的信息和上下文。摄像机提供了广泛的视野，可以跨多条车道进行检测和跟踪。相机比有源传感器的成本更低，并且已经普遍用于追踪通道，允许系统集成[13]，共享硬件和低成本。当主动传感器识别物体时，视觉确定地将物体识别为车辆。视觉与有源传感器套件很好地集成，允许像激光雷达这样的传感器提供物理测量，而视觉将物体分类为车辆或非车辆[14]。视觉领域对人类而言也非常直观，使基于视觉的系统对道路交互性和驾驶员辅助具有吸引力。基于视觉的车辆检测的缺点包括对光线和天气条件的敏感性以及增加的计算成本。
随着智能车辆领域的发展，计算机视觉必将发挥显着的传感作用，无论是作为主传感器还是作为多模式传感器融合套件的一部分。 在下面的章节中，我们详细介绍基于视觉的车辆检测，跟踪和行为分析的最新进展。 单目视觉车辆检测的最新进展反映了计算机视觉，机器学习和模式识别方面的进步。 从模板匹配到复杂的特征提取和分类都有了巨大的改进。 在立体视觉中，我们已经看到立体匹配，场景分割以及移动和静态物体检测方面的重大进展。 本文的下一部分详细介绍了单眼，立体视觉和视觉融合与其他传感器在道路车辆检测方面的最新进展。
III．基于视觉的车辆检测
图1所示的最低级别涉及使用一台或多台摄像机检测车辆。从计算机视觉的角度看，道路车辆检测带来了无数的挑战。路上环境是半结构化的，只允许对场景结构做出较弱的假设。来自移动平台的对象检测需要系统检测，识别视频中的对象并对其进行本地化，而且通常不依赖于背景建模。
道路上的车辆通常处于运动中，引入了自我和相对运动的效果。道路上遇到的车辆的大小，形状和颜色存在差异[2]。路上环境还具有照明，背景和场景复杂性等变化。复杂的阴影，人造结构和无处不在的视觉混乱可能导致错误的检测。车辆也以各种方向遇到，包括前车，迎面车和十字路口。路上环境具有频繁且广泛的场景混乱，限制了车辆的完全可见性，导致部分遮挡的车辆。此外，车辆检测系统需要以实时速度运行，以便为人类或自主驾驶员提供关键情况的预先通知。
在这里，我们回顾道路车辆检测。我们详细介绍了该领域研究人员采用的各种线索，假设和分类方法。我们将这一部分分为使用单眼视觉和使用立体视觉进行道路车辆检测的研究。表二突出了基于视觉的车辆检测的代表作品。图3显示了单眼和基于立体视觉的车辆检测研究的定性结果。
A.单目车辆检测
我们将车辆检测方法分为两大类：基于外观和基于运动的方法。一般来说，基于外观的方法在单眼车辆检测文献中更为常见。基于外观的方法直接从图像中识别车辆，也就是说，它们直接从像素到车辆。相反，基于运动的方法需要一系列图像来识别车辆。单目图像缺乏直接的深度测量。尽管自动运动补偿和来自运动方法的结构已被用于[15]中的车辆检测，但一般而言，基于外观的方法对于单眼车辆检测更直接。
在这里，我们讨论相机布局和单眼车辆检测的各种应用。然后，我们详细介绍常见特征和常见分类方法我们详细介绍基于运动的方法。我们讨论夜间车辆检测和单眼姿态估计。
1）摄像机放置：使用单个摄像机的车辆检测旨在检测与自我车辆有关的各种位置的车辆。绝大多数单眼车辆检测研究将摄像头向前放置，以检测前车和迎面车辆，详见后面的小节。然而，各种新颖的相机配置产生了宝贵的洞察力和安全关键应用。
将摄像机安装在侧视镜上，朝向车辆后部，可以监视车辆的死角。根据车辆的相对位置，由于视野和车辆外观的高度可变性，使用此摄像机放置检测车辆会带来困难。在[16]中，这个摄像机位置被用来使用光流来检测超车车辆。在没有车辆的情况下，静止物体的光流相对于自我车辆向后移动。迎面而来的车辆呈现向前流动。使用卡尔曼滤波对车辆进行跟踪[16]。光流也被用于[17]中的盲点检测。在[18]中还介绍了盲点车辆检测，使用边缘特征和支持向量机（SVM）分类。在[19]中，在车辆上安装了摄像机以监视死角区域。该研究使用加速健壮特征（SURF）和边缘段的组合。分类是通过概率模型进行的，使用高斯加权投票程序来找到最佳配置。
已经使用在车辆上安装全向摄像头来获取路上场景的全景图。在[20]中，全向视觉被用来估计车辆的自我运动，用光流检测静态物体。使用卡尔曼滤波还可以在很长一段时间内检测并跟踪移动物体。在[21]中，在自我车辆上安装了一对全向摄像头，对矫正后的图像进行双目立体匹配以获得车辆周围区域的动态全景环绕地图。
对两侧平行行驶的车辆也进行了检测。在[22]中，使用摄像头观察侧面乘客的窗户，通过首先检测前轮和后轮来检测相邻车道中的车辆。使用卡尔曼滤波来追踪组合的部分。在[23]中，摄像机被类似地安装在TerraMax自主实验车辆测试台的侧面。建立了场景的自适应背景模型，并使用运动线索来检测侧视图中的车辆。
在[24]中，摄像机位于后挡风玻璃的后方。该应用程序是检测后续车辆的前脸，以告知司机车道变更的安全性。对称和边缘算子被用来产生感兴趣的区域;使用Haar小波特征提取和SVM分类来检测车辆。
2）外观 - 特征：现场使用各种外观特征来检测车辆。许多早期的作品使用局部对称运算符，测量图像平面中围绕垂直轴的图像块的对称性。通常，在对图像上的边缘算子进行评估之后，对图像斑块计算对称性，以识别车辆后面的垂直侧面[25] - [27]。边缘信息有助于突出车辆的侧面以及其投影[18]，[28] - [30]。对称性与检测到的圆形前灯和边缘能量一起用于在[31]中检测夜间车辆。对称性和边缘也在[32]和[33]中使用，纵向距离
碰撞时间（TTC）使用车辆三维宽度和针孔摄像机模型1的假设进行估计。
近年来，从简单的图像特征（如边缘和对称性）向通用和强大的车辆检测特征集过渡。这些功能集现在在计算机视觉文献中很常见，可以直接分类和检测图像中的物体。在车辆检测文献中，定向梯度直方图（HOG）特征和Haar特征的直方图非常好，因为它们在物体检测文献[34,35]中。
通过首先在图像上评估边缘算子来提取HOG特征[34]，然后将边缘强度的方向离散化并划分为直方图。直方图然后用作特征向量。 HOG特征是描述性图像特征，在包括车辆检测在内的各种计算机视觉任务中表
现出良好的检测性能，但是它们通常计算速度慢。 HOG特征已被用于许多研究[36,37]。在[38]中，在给定的图像块中提取的HOG特征的对称性以及HOG特征本身被用于车辆检测。除了车辆检测之外，HOG特征已被用于确定车辆姿态[39]。 HOG特性的主要缺点是计算速度很慢。最近的工作已经通过在GPU上实现H
全文共62213字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[15788]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
