英语原文共 12 页
图像和视觉计算期刊
智能交通系统下的车辆检测及其在各种环境下的应用：综述
Zi Yang *, Lilian S.C. Pun-Cheng
香港理工大学土地测量与地理信息系
摘要：单眼视觉下健全和高效的车辆检测是智能交通系统中的一项重要任务。 随着计算机视觉技术的发展以及视频图像数据的可采性，道路车辆检测算法被用于新的场合和应用。本文提供了在不同环境下车辆检测的文献综述。由于道路驾驶环境的多变性，车辆检测可能面临不同的问题和挑战。因此，许多方法被提了出来，并且可以将其分类为基于外观的方法和基于运动的方法。此外，从方法学和定量评估方面讨论特殊照明，天气和驾驶情景。 未来，应该集中在完善不同道路状况下的车辆检测方法上进行努力。
关键词：车辆检测、视觉计算、智能交通系统、多种环境、交通监控
1.引言
智能交通系统（ITS）是近年来流行的研究领域。提供与不同运输方式和交通管理有关的创新服务，并使各种用户能够更好地了解情况并使交通网络更安全，更协调和“更智能”[110]，其目标是提高运输安全性，机动性，生产力和交通规划者及道路使用者的环境表现。随着城市道路的不断发展和高速公路的广泛建设，车辆检测的关注度不断增加。 作为ITS的一项基本任务，车辆检测旨在提供辅助车辆计数，车辆速度测量，交通事故识别，交通流量预测等信息。
现在有各种传感器用于收集连续生成的交通信息。传统方法利用专用硬件[49]，例如感应环路检测器，雷达检测器，激光检测器来检测车辆，但这些设备的主要缺点是维护成本高且受环境因素影响。与传统传感器相比，摄像机在成本和灵活性方面更具优势。视频摄像机已被部署用于长时间的交通监控，因为它们为人类的可视化和理解提供了丰富的信息。 随着闭路电视摄像机的数量和覆盖范围的扩大以及随之的图像数据的应用，基于图像的车辆检测就是最有前途的大规模交通信息数据采集和分析新技术之一[7]。 近年来，甚至有融合来自不同来源的数据[21,71]来检测车辆的趋势。
考虑到有效性，车辆检测方法需要足够快以便实时操作，对光照变化和不同天气条件不敏感，并且能够以准确和有效的方式将车辆与图像序列分开[65]。在不同驾驶条件下，车辆检测方法已有文献报道[2-5]。其中许多主要侧重于算法和技术，而应用领域很少被总结。在本文中，我们提供了在不同环境下的车辆检测方法的综述。我们根据车辆外观和车辆运动对车辆检测方法进行分类。然后，我们总结了几个交通监控目标，如车辆计数和交通事故检测。我们把重点放在特殊照明和恶劣天气情景下的车辆检测。针对不同的车辆检测目的，比较和评估不同环境下的解决方案。
2.车辆检测 - 基于外观的方法
车辆的外观在大小，形状和颜色上有所不同。在车辆检测中，基于外观的方法利用先验知识来分割前景（包含研究的对象）和背景（其补充集合）[22]。通过车辆的矩形形状，各种特征作为车辆检测的重要线索，如对称性，颜色，边缘（水平/垂直）和阴影。每个特征都有自己的优点和缺点，可以单独或组合使用。基于这些特征，描述符已经被提出并被证明在车辆检测中是有效的。根据[27,37]，基于外观的车辆检测方法通常遵循两个基本步骤：1）假设生成（HG），其中图像中的可能车辆的位置是假设的，以及2）假设验证（HV），执行测试以验证图像中车辆的存在。
2.1. 假设生成（HG）
2.1.1. 低级功能
在这里，我们综述了使用基于外观的HG的代表性低级功能，例如颜色，阴影，对称性和边缘。 这些功能简单，高效，并且在与车辆相关的信息提取中非常有用。
a） 颜色：颜色信息在视频图像中提供丰富的信息,并已被用于检测车辆的视觉特征，如车灯[38]，车牌[107]。交通监控摄像机通常采用RGB模型运行，但三个通道高度相关，R，G，B的各个值强烈依赖亮度这个元素[24]。为了解决这个问题，从RGB色彩空间到HSV [26,34]，YCbCr [8,35]，L * a * b * [31]的转换被用于突出红色和白色的颜色信息并减少照明更改的影响。在[7]中，提出了一种新的颜色转换模型来从静态图像中识别车辆颜色。表1显示了如何在车灯检测中使用颜色信息。
b） 阴影：对于车辆检测，主要挑战之一是识别车辆投射的阴影及其在场景中的移动。对于一种局部照明变化，阴影可能导致许多问题，例如合并，形状失真和失去对象[79]。通过区分阴影背景和运动物体，阴影分析在许多研究中是一个活跃的研究领域[82,85]。通常，车辆阴影区域可以通过建立一个色块模型来鉴别和移动，其基于对比度[106]，亮度[80]，所有颜色成分的均值和方差[86]。借助阴影消除技术，可以显着提高车辆检测算法的性能。
c） 对称性：从正面或背面看，车辆的图像通常具有对称性。对称性已被用作一些早期研究中车辆检测的提示，参见[13,14]。通常通过定义几何模型[15]，找到对称轴[16]或中心点[17]来识别图像中的车辆位置。然而，目前的摄像机安装在不同角度和视角的地点，使对称性成为最先进的车辆检测方法中使用率较低的特征。
d） 边缘：作为轮廓信息的重要来源，边缘已被广泛用于车辆检测。由于计算复杂度低，边缘检测可以实时进行。传统的基于边缘的车辆检测方法利用Sobel，Canny或Prewitt算子等算子生成水平和垂直边缘图。 边缘通常与用于车辆检测的其他特征组合。在一种先进的车辆检测方法中，多尺度边缘融合[1]被用于定位目标车辆。边缘通常扮演提供轮廓信息的角色，而其他特征提供关联信息来提取候选车辆。
低层特征的提取是快速和方便的，但其主要缺点是一个特征不能有效地表示所有有用信息。为了解决这个问题，一个解决方案是利用多个特征来检测车辆部件，例如车牌号[67,107,121 ]和车灯[30-35]。ROI（感兴趣区域）是基于诸如颜色，边缘和斑点检测器之类的特征生成的。基于视觉部分，车辆驾驶者可以成功定位。另一种解决方案是融合特征以提取视频图像中的整个车辆。通过组合两个或两个以上的特征，可以更有效地提取车辆的关联性和轮廓信息。从表3第3节可以看出最近研究中关于特征融合的简要总结。
表1车灯检测中的颜色使用
2.1.2.局部特征描述符
在最近的研究中，已经从简单的低级特征过渡到健全局部特征描述符。专为特定应用程序而设计，功能描述符允许快速高效地搜索图像中的对象。理想情况下，描述符应该能够处理各种对象，并且健全各种背景，但对于几何和光度转换也是不变的[45]。在文献中已经提出了许多外观特征，其中两种特征描述符，即梯度直方图（HOG）和Haar-like特征在现代车辆检测中变得越来越普遍。
a） HOG：梯度直方图（HOG）是为物体识别设计的特征描述符。通过捕获具有局部形状特征的梯度结构的边缘，HOG首先在行人检测[46]中进行测试，然后扩展到移动车辆检测领域。在[3]中，两个HOG矢量的组合被构造来提取车辆特征。在[89]中，金字塔定向梯度直方图（PHOG）特征从交通图像中提取出来作为基本特征。 在[6]中，三种不同配置涉及水平（H-HOG），垂直（V-HOG）和同心矩形（CR-HOG）的描述符被提出来作为比原始HOG更有成本效益的方式执行。在[90]中，对称HOG矢量被开发用于车辆验证。
b） Haar-like特征：Viola和Jones首次提出了Haar-like特征[100]来检测人脸。常见的Haar功能包括边缘，线条和中心环绕功能。简单且易于计算，它已被用于许多车辆检测方法中用于特征表示。在文献[92]中，使用类似Harr的特征提取方法来表示车辆的边缘和结构。在[102]中，基于Haar-like特征提出了一种2D三角形滤波器来检测车。Sivaraman和Trivedi [93]使用Haar-like特征提供了一个通用的学习框架工作。Haar-like特征的计算速度很快，但是由图像生成的特征向量的维数很高[104]。然后应用降维操作来减少硬件存储。
c） 其他特征描述符：尽管具有HOG和Haar特征，但其他外观特征在区域级收集相关信息方面也表现出卓越的有效性。在[9]中，Gabor特征[96]被用于提取尾灯。在[37]中，Gabor特征被用于基于后视图检测车辆。加速稳健特性（SURF）[60]被用于提取车辆后半部分的车轮[47]。在[117]中，尺度不变特征变换（SIFT）特征[59]被用于提取图像中的兴趣点，这有助于找到车辆的边界框。
2.2. 假设验证（HV）
在从图像序列生成可能的选项之后，下一步是验证假设的正确性。使用机器学习方法的假设验证（HV）被视为一个两类模式分类问题：车辆与非车辆[92]。首先从各种来源收集正图像（车辆类别）和负图像（非车辆类别），然后用分类器进行训练。在所有训练样本中，每幅图像都由一个或多个特征向量表示。分类器以统计方式学习车辆外观的特征，并绘制车辆与非车辆类别之间的决策边界。为了实现最佳的基于外观的分类性能，应该提取巨大的类内差异性。
SVM（支持向量机），Adaboost和神经网络是车辆检测中分类器的三种代表类型。支持向量机[101]是一个判别分类器，它构造一个超平面并学习两个类之间的决策边界。另一方面，Adaboost [73]是一个生成弱分类器，它通过组合局部特征描述符来提高简单分类器的性能[118]。神经网络（NN）[105]在过去十年中一直流行，并且可以学习高度非线性的决策边界[37]。然而，神经网络受到参数调整的计算困扰，因此耗时。随着深度学习技术的发展，卷积神经网络（CNN）已成功用于基于视觉的车辆检测。快速R-CNN [116]用于车辆检测，其中区域提案网络（RPN）显着降低了提案成本。在[115]中，提出了一种称为快速车辆提议网络（FVPN）的浅全卷积网络来实时地定位所有类车辆物体。
最近，一些特定的特征分类器已经在各种条件下被广泛用于车辆检测，如表2所示.HOG特征和SVM分类器[101]以及Haar-like特征与Adaboost分类器的组合是最经常使用的配对。基于现有的算法，在特征，分类器和特征分类器组合之间进行了比较研究。HOG和Haar-like特征在[120]中进行了比较，并用于构建后级车辆检测的增强分类器级联。在简单和复杂的场景中，VMs和NNs在[37]中作为HV方法进行了比较。HOG-SVM和Haar-Adaboost组合在[97]中作为主动学习框架进行了研究。
我们从表2可以看出，几乎所有的特征都用方向信息描述了像素。Gabor特征提供比例和方向信息，HoG特征计算梯度大小和方向以构建直方图，Haar特征利用矩形滤波器提取方位信息。同时，我们观察到大多数组合在后视图中检测和分类车辆，从侧面看只有一小部分检测。对称性在前/后视图中可能非常有用，并且边缘特征已在许多研究中用于提取车辆外观的对称特征。HOG-SVM和Haar-Adaboost组合在后视图像中表现良好。由于对边缘和对称结构敏感，Haarlike特征结合生成Adaboost分类器可以执行快速检测性能。与Haar-Adaboost组合不同，HOG特征更侧重于提取边缘的方向。因此，视野可以从传统的前/后视图延伸到多视角车辆检测。在[3]中，使用HOG特征选择了四个方向（前方，左方，右方和远方）。HOG特征被选择和练习以识别车辆的不同方向[122]。
3.基于运动的车辆检测方法
道路上的车辆通常处于运动中，引入自我和相对运动的效果[48]。如果没有任何先验知识，这些方法会根据与背景不同的运动提取移动车辆[22]。算法通常基于图像序列，而基于特征的方法则以静态图像或序列执行。广义而言，基于运动的车辆检测可以分为两类：1）非参数方法和2）参数方法。
表2选定的作品在功能分类上的组合
表3基于特征融合的车辆检测方法综述
3.1. 非参数方法
非参数模型可以被看作是最简单的运动检测方法。在不涉及任何参数的情况下，这些方法以逐像素的方式区分前景和背景。帧差异是移动车辆检测中广泛使用的方法，请参阅[57,58]了解早期的工作。传统的两帧差分法[44]观察到两个连续图像帧的差异。通过从当前帧In中减去前一帧In-1的强度来获得差异图像图。然后选择阈值来分离图像背景和前景，其中大于阈值的像素被认为是前景区域（候选车辆）。该方法可以实时生成差异图，但易受光照变化的影响。框架差异的主要缺点是当物体移动缓慢时分段物体上的孔以及分段物体后面的重影[53]。为了检测慢行车辆，在[119]中给出了解决方案，其中帧In和In 5被选择来生成二进制差分映射而不是两个连续帧。然而，当车辆在视频帧中快速移动时，由两帧图像产生的轮廓信息重叠。因此，在[51]中提出了三帧差分方法。通过三个视频帧获得两幅差异图像图。 [44,50]中使用了三帧差分法。然后使用“差异”，“膨胀”，“和”[44]和“异或”的形态学操作来填充孔并连接两个差异图像之间的不连续边缘。
考虑到车辆形状，尺寸和颜色的多样性，单独的非参数模型在实际情况下可能会有一定的局限性。因此，帧差分通常是车辆检测的第一步。在文献[49]中，背景扣除是基于二值图像生成，通过帧差分来检测运动像素。框架差异与特殊设计的特征描述符一起使用来识别车辆的一部分[119]，并与高斯混合模型[103]一起在拥挤的交通场景中获得更好的前景图像。
3.2. 参数化方法
在本节中，参数化方法分为背景建模，光流和其他方法。
3.2.1. 背景建模
这种方法旨
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
