英语原文共 15 页，剩余内容已隐藏，支付完成后下载完整资料
基于Android设备的实时自动路面裂缝和坑洞识别系统
摘要
随着道路路面缺陷导致的车辆快速增长和交通事故的发生，道路安全已成为世界的关注内容。出于这个原因，各国和联邦国家已开始将其资源集中用于民用基础设施的分析，以评估其安全性和可用性。分析工作由专业的检查员和结构工程师组成，他们手动检查道路基础设施，并提供关于检测到的路面状况及其影响的详细报告。这项工作旨在提供一种能够仅使用移动设备提供的资源来实现检测路面遇险的新系统。为了实现这一目标，基于OpenCV库的自动路面遇险识别系统被开发并嵌入到移动应用中，确认三种常见的路面病害：坑洞，纵向横向裂缝和疲劳裂缝。我们的方法在多个Android移动平台上进行测试，能够识别的路面状况精度达到F-Measure的0.7以上。该应用有望通过减少执行检查所需的时间，同时确保更高的准确度，从而改进检查员的现场工作。
关键词:计算机视觉遇险识别，Android，路面遇险，基础设施监控
1.简介
越来越多的车辆和交通事故使道路安全成为全球关注的主要原因。在道路事故中发挥作用的因素随着是司机的错误，车辆的故障以及与道路环境有关的问题而有所不同。美国运输部对2014年发生的交通事故死亡人数进行了统计分析，估计仅在那一年就有32675人死于机动车交通事故[1]。同一年，超过25700人死于欧洲的道路上(即相当于一个中等城镇)，超过200000人遭受了严重的危及生命的伤害[2]；据估计，在欧洲道路上每一次死亡事故，就有4例永久伤残，8例严重受伤，50人轻伤。
尽管数据描绘了一个严重的现状，但重要的是这一趋势似乎正在发生改变。目前政府已经开展了一些加强道路安全的研究，确定新的战略和方法，并采用先进的方法，特别是信息和通信技术(ICT)提供的方法在寻找道路安全问题的新颖创新解决方案方面具有很高价值。开发新的系统和工具可以改进对民用基础设施问题的调查和分析，例如著名的路面遇险。在过去的几年里，大量的研究工作都集中在开发创新的方法和算法来改善路面人工视觉检查这个领域。人工视觉检查是评估民用基础设施(如道路，桥梁等)物理和功能状况的最常见方法[3]，同时要承认它的可用性。这些由认证检查员和结构工程师执行的评估是基于人工测量路面粗糙度以及地表铺设偏差的大小(即尺寸和重力)。这些检查是定期进行的，甚至是在灾难造成路面变化之后进行，然后进行特别详细的报告和评估。这些评估的分析在城市道路维护和修复项目中发挥着重要作用。通过他们的分析和对路面状况的正确分类，可以改进路面管理系统(PMS)中的决策过程并计划特别的修复干预。为了达到这些目标，几种方法论和模糊方法，如层次分析法(AHP)和理想情况下的优劣解距离法(TOPSIS)在[4]中描述，被设计。因此，道路机构能够规划修复干预措施，最大限度地减少维护结构的周期成本[5]。但是，这种方法需要自动化技术的遇险调查和测量，以减少制作路况报告所需的时间并提高其准确性和可靠性。
最近，几个道路机构已经开始涉及基于计算机视觉(CV)技术的自动化和半自动化系统，以改善对路面数据的收集和分析。他们的选择可以通过低成本和高质量的视觉传感设备(如数字摄像头)获得良好的支持。这导致了CV应用于基础设施监控系统领域的新研究趋势。事实上，CV的目标之一是对象检测和识别任务，它允许在数字图像和实时捕获的视频中自动检测特定对象的实例[6]。因此，有可能创建基于CV方法的自组织自动分类系统，能够处理所获取的框架，并自动检测识别特定路面遇险(如果存在于分析框架中)。这些方法中的大多数不允许实时检测路面障碍，原因有两个：
(i)数据收集和分析是两个独立的阶段；
(ii)它们需要复杂的预处理和识别方法，利用大量的计算资源进行正确的检测。由于这些原因，迄今为止，移动设备仅用于收集数据，而不是用于实时检测路面遇险的手段。
本文提出了一种新的方法来自动识别三种常见类型的路面遇险(即坑洞，纵向和横向裂缝，疲劳裂缝)。基于CV技术，这种方法利用了基于Android的移动设备提供的计算资源。
按照[4]对路面病害分析的相同方法，我们的应用旨在改进结构工程师和专业检查员进行的人工视觉检查过程，创建路面检查的自动报告并提供以下信息：
(i)确定的路面遇险类别；
(ii)他们的人数；
(iii)检测到的遇难者的图像；
(iv)遇难者的收购过程的日期和时间；
(v)每个遇险通过设备的GPS模块的位置。
这些信息可以创建一个路面布置数据库，通过查询数据库中的日期，时间和GPS位置，可以利用这些数据库来追踪特定时间段内道路的退化情况。事实上，利用每个路面遇险报告中提供的关于日期和GPS位置的信息，可以：
(i)评估哪些是影响所考虑的道路的路面遇险的主要类别，以及策划临时道路维修；
(ii)追踪检查次数和执行时间。为了实现这一目标，我们利用了着名的OpenCV库[8]的Android平台[7]的软件开发工具包(SDK)，该工具为图像处理和分类任务提供了优化的方法。
通过OpenCV，我们基于局部二值模式(LBP)特征设计了三个级联分类器，每个分类器针对每个感兴趣的遇险，创建一个新的自动路面遇险识别(APDR)系统。三种建议的分类器能够检测到特定的路面遇险类别(即疲劳裂纹，纵向横向裂缝和坑洞)，并且一旦嵌入到移动应用程序中，它们可以处理设备摄像头采集的帧，显示实时检测输出到监控终端。
AndroidSDK为我们提供了创建移动应用程序和访问设备资源的所有方法和机制，例如如下访问权限：
(i)设备摄像头权限以允许用户启动半自动视觉检查；
(ii)嵌入在移动设备中的GPS传感器以获取检测到的遇险的当前位置；
(iii)读取本地设备存储器存储获取的信息权限，如获取的遇险信息的最后一帧和文本文件。特别是，该文本文件将包含一个表格，其中每一行代表由遇险类别名称，分析帧中的编号，采集日期和时间及其位置组成的检测到的路面遇险。
我们的应用程序允许通过设备摄像头采集的视频流实时识别遇险，并显示识别过程的输出，突出显示包含遇险的帧的部分。该应用程序旨在为所有参与道路管理的机构提供创新潜力，改善结构工程师和专业检查员的现场工作。
这项工作的其余部分安排如下：第2节介绍了主要路面遇险类别的分类，第3节深入介绍了自动检测和识别路面损坏的最新方法。在第4节中，我们将讨论嵌入在Android应用程序中的自动路面遇险识别系统背后的基本原理和设计。最后，我们在第5节介绍我们的评估结果，第6节简要描述我们的结论。
2.Manual路面破损分类
人工目视检查道路的物理和功能状况是评估此类民用基础设施质量和可用性的最重要任务。只有经过训练有素的结构工程师和专业检查员才能进行检查，并且定期进行检查，目的是提供关于道路基础设施状况的详细报告。为了协助检查人员完成这项任务，每个国家都提供自己的遇险识别手册，其中包含以下信息：
(i)遇险人员姓名；
(ii)帮助识别的基本特征和说明的描述；
(iii)严重程度(即低，中或高)；
(iv)如何衡量遇险；
(v)属性列表；
(vi)遇险事例；
(vii)一系列可能的原因；
(viii)建议的补救措施。
手册的两个着名例子是道路缺陷目录(CORD)[10]和遇险识别手册[11]，它们对最常见的路面遇险进行了深入分类。这种困境可以分为以下五大类：
(i)裂缝是最常见的铺路缺陷之一，它们可以是不同的类型，如纵向裂缝，横向裂缝或疲劳裂缝。纵裂纹和横裂纹分别与路面中心线平行和垂直，疲劳裂纹即鳄鱼裂纹由相互连接的裂缝组成；
(ii)坑洼是各种大小的碗状孔，涉及一层或多层沥青路面结构，并且当水积聚在孔中时，它们的大小和深度可以增加；
(iii)补丁是由于路面表面恶化而更换的部分路面；
(iv)表面变形类别组会导致路面表面变化。这类车辆的典型特征是车辙，即车轮磨损的纵向凹陷；
(v)表面缺陷是一种将在路面表面产生缺陷的困难分类的类别。这种困难与沥青面层在路面上的堆积有关，它可以在路面上找到。尽管手动视觉检查可以在路面遇险的分类中达到高水平的准确性和精度，但其主要缺点是执行所需的时间和它缺乏客观性的事实，因为它取决于使用手册和团队的经验。
为了克服这些问题，在这项工作中，我们提供了一种自动路面遇险识别系统，能够检测以下三类路面遇险：坑洞，纵向和横向裂缝，疲劳裂缝。图1显示了这些困扰的一个例子。特别是，这些照片是在罗马(意大利)为这项工作进行道路检查期间拍摄的。
图1遇险示例
3.相关作品
正如Koch等人所讨论的那样[3]，基于CV方法的土木工程应用算法和系统的数量呈指数增长，这要归功于高质量和低成本视觉传感技术的可用性。这些方法大多基于不同的图像处理技术，以突出图像的特定方面并提高正确检测的可能性。Koch等人在[3]中总结了用于检测民用基础设施缺陷的常用CV流水线。
如图2所示，流水线可以分为六个宏观阶段，每个阶段与一组一般CV方法相关如下：
图2检测民用基础设施缺陷的常用CV流水线
(i)图像采集是CV流水线的基本阶段。它允许系统采集数据，并通过数码相机利用所选CV库的可用API进行处理；
(ii)预处理阶段由提高图像质量的基本方法组成，例如恢复和降噪；
(iii)分割阶段允许通过应用边缘检测和聚类方法来识别图像中
的感兴趣区域；
(iv)通过特征提取阶段，可以检索在识别过程中可以利用的特定纹理或形状；
(v)目标识别是CV管线的主要阶段，因为它执行探测预处理图像的遇险。典型的方法是聚类，支持向量机(SVM)和人工神经网络(ANN)；
(vi)结构分析阶段通过3D重建(例如光流和立体重建)提供对场景的深刻理解。利用所提出的CV管道或其一部分，几个最先进的应用集中于检测三种最常见的路面遇险类型：裂缝，坑洼和修补程序。
3.1Cracks检测
近年来，大量的方法已被用于裂纹检测。例如，基于ANN的自动识别裂缝设计[12,13]。Xu等人在文献[12]中提出了一种基于三个隐藏层的BP(Backpropagation，人工神经网络)神经网络来检测图像中的路面裂缝。该方法依赖于模式匹配的概念，该模式匹配应用于在子图像中分割的图像的二进制版本。然后将检测应用于每个子图像，区分它们之间的裂纹和无裂纹图像。为了执行这项任务，作者选择了从二进制子图像中提取的四个参数，并将其作为BP-ANN的输入。人工神经网络由三个隐藏层组成，并通过使用从高速公路捕获的路面图像进行训练。Bray等人在[13]中使用两个分层神经网络来获得真正的裂缝检测。第一个人工神经网络将图像的密度和直方图特征作为输入来评估缺陷的存在或缺失。提供的输出是一组包含裂纹的图像，作为第二个ANN的输入，用于识别缺陷的类型，区分疲劳，块体，水平和垂直裂纹。Li等人[14]使用遗传算法和SVM开发了一种检测裂纹的算法。通过遗传算法，作者找到了SVM的最优输入参数，它通过一组训练样本进行训练。一旦从图像中提取裂缝的特征，SVM就执行分类并提供结果。奥利维拉等,在文献[15]中设计了一种两阶段无监督方法来检测图像中涉及无监督信息理论自适应图像(UINTA)滤波方法[16]用于减少图像熵的图像中的路面裂缝。通过预处理阶段，系统应用一组滤波器来减少像素强度方差和饱和度，然后利用一类Parzen分类器创建一组不重叠的子图像。最后，通过比较子图像与其邻居或UINTA滤波器的平均值和标准偏差，将每个子图像分类为裂纹或无裂纹图像。尽管这种方法提供了良好的性能，但UINTA滤波方法具有很高的计算时间和成本。在[17]中提出了一种改进，其中Oliveira等提出了UINTA滤波方法的并行实现，从而减少了应用该算法所需的计算时间并实现了以前工作的相同性能。然后，Medina.et在[18]中描述了一种结合视觉外观和几何信息的道路裂缝自动检测系统。为了获取和存储数据，在执行检验调查的车辆上设计和实施多设备系统。一旦获得了视觉外观和几何信息，就应用AdaBoost算法[19]来合并结果并改进检测。
Wu等人在[20]中设计了一种裂缝碎片整理方法(即MorphoLink-C)来连接碎裂裂缝，以提高基于ANN的裂缝检测器的精度。为了实现这个目标，他们利用片段分组过程，该过程是使用通过细化变换获得的膨胀变换和片段连接创建的。利用MorphoLink-C，他们训练了一个ANN来检测图像中的裂缝。
文献[21]提出了一种基于最小路径检测路面裂缝遇险的图像处理方法。所提出的方法利用ad-hoc算法利用裂纹的几何和强度属性来考虑一组像素(即裂纹像素)并从中找到最小路径。奥利维拉等。在[22]中提出了一个用于Matlab环境的工具箱来预处理输入图像并使用它们来检测和分类裂缝的类型。所提出的预处理方法包括图像平滑，像素强度归一化和饱和度，而用于检测分析图像中裂缝的算法基于使用基于块或基于像素的方法的图案分类。最后，裂纹表征允许将检测到的裂缝分类为纵向，横向或杂项，从而指定严重性级别。Wu等人在[23]中提出了一种提取影响道路路面裂缝的方法。方法不仅利用基于典型图
全文共30340字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[12173]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
