英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料
基于深度学习卷积神经网络的车牌检测和识别
Syed Zain Masood Guang Shu Afshin Dehghan Enrique G. Ortiz
{zainmasood, guangshu, afshindehghan, egortiz}@sighthound.com
Computer Vision Lab, Sighthound Inc., Winter Park, FL
摘 要：这项工作详细介绍Sighthound的全自动车牌检测和识别系统。 该系统的核心技术是使用一系列深度卷积神经网络（CNN）与精确有效的算法交错构建而成。 CNN经过训练和调整，以便在不同的条件下（例如姿势，灯光，遮挡等变化）可以保持稳定，并且可以在各种车牌模板（例如尺寸，背景，字体等）上工作。 对于定量分析，我们表明，我们的系统胜过了领先的车牌检测和识别技术，即ALPR在几个基准测试中。我们的系统可通过网站http://www.sighthound.com/products/cloud的Sighthound Cloud API在开发人员处获得。
1.引言
过去，人们对车牌检测[1,2,3]和识别技术[4,5,6,7,8,9,10]非常关注。 从交通和收费违规到事故监测，自动检测和识别钢板的能力是全球执法机构使用的关键工具之一。
与流行的观点相反，由于条件和车牌类型的变化，车牌检测和识别仍然是一个具有挑战性的问题。 大多数现有解决方案本质上都是限制性的，即对固定式摄像机的工作，对于特定类型的车牌模板，具有特定的视角，以特定的分辨率。 这意味着，例如，为欧洲的静态相机设计的车牌系统在美国的移动相机中表现不佳。 另外，由于处理速度瓶颈，大多数技术都会比较和选择最佳功能，并严重依赖启发式方法。 在一个不同类型的特征的组合表现出比为特定任务选择单个特征更好的世界中，这是不太理想的。
随着深度CNN的出现[11,12,13,14,15]和增强[16,17]以及更便宜，更快的处理硬件，我们需要重新审视这个问题。 有线电视网络设计的进步使许多任务的性能精度显着提高。 在这项工作中，我们利用CNN的能力在一个能够检测和识别低错误率车牌的端到端系统中。 我们提出了一个对arXiv：2017年3月28日的条件（相机移动，相机角度，照明，遮挡等）和车牌模板（尺寸，设计，格式等）变化具有鲁棒性的系统。 为了支持我们的说法，我们在几个基准测试了我们的系统，并取得了比以前最先进的成果更好的结果。 这项工作的贡献总结如下。
- 我们提供了一个端到端的牌照检测和识别流水线，以及新颖的深度CNN，不仅计算成本低廉，而且在几个基准测试中也超越了竞争方法。
- 我们对现有基准进行了大量实验，并取得了所有这些成果的领先成果。
图1：车牌识别系统结构示意图
图1：该图显示了我们车牌识别系统的完整管道。 如所观察到的，该过程分为三个主要类别：1）数据收集2）深度CNN培训3）测试。 所收集的数据在被用于训练用于车牌检测，字符检测和字符识别的深度模型之前被清理，组织和正确注释（以半自动方式）。 当测试图像时：1）牌照检测器用于发现和裁剪牌照，然后; 2）字符分割以隔离每个字符; 3）使用字符检测模块来滤除非字符元素，并且; 4）通过识别系统运行每个剩余的字符以获得最终的车牌号码。
2.系统概述
图1给出了我们系统的概述。可以看出，我们的方法有三个主要组成部分，即数据收集，培训和测试。下面，我们详细讨论这些组件的每一个。
2.1数据收集和准备
为了训练准确和有效的深度CNN，重要的是要有大量干净和正确注释的数据。为此，我们花费时间和精力确保收集到的用于培训的数据集良好。如图1所示，我们需要收集两项任务的数据：车牌检测和字符检测/识别。
数据：车牌检测 对于车牌检测任务，需要建立一个带有车牌的现实世界图像数据库，以及清晰可见的上下文（车辆，场景等）。要建立一个对环境和车牌规格变化具有鲁棒性的系统，收集展示这种情况的一组图像非常重要。因此，为了完成这项任务，我们收集了来自不同来源的超过20k图像，以捕捉所有需要的变化。图1中数据收集表的第一列显示了所需图像类型的一些示例。一旦我们有了这些图像的数据库，我们就设计了一种半自动化技术来清理，注释和准备用于培训的图像。
数据：车牌识别 为了训练识别车牌字符的网络，我们着手收集紧凑裁剪车牌的图像数据（无背景）。像上面的真实世界车牌数据收集过程一样，我们确保收集具有不同背景，字体和不同照明条件的数据。考虑到这一点，我们能够收集25k张裁剪车牌图像。然后，我们使用自动过程来手动清理数据之前，对字符进行分段，提取和分类，以及硬性负面背景图形样本。 图1中的数据收集表的第二列中显示了每个样本（裁剪后的车牌，字符和硬性底片）。
2.2训练
一旦数据准备好并准备用于培训，我们将培训三个独立的深度CNN：车牌检测，字符检测和字符识别。
(a)
(b)
图2：该图显示了（a）用于训练牌照检测器的真实世界牌照图像的数据样本和（b）从中提取字符以紧密裁剪车牌的数据样本以训练字符检测和识别模型。
训练：车牌检测 类似于[16]，训练一个深度CNN网络以完成车牌检测任务。该模型负责对给定图像内的车牌进行本地化和分类。对于训练，我们使用真实世界的车牌图像数据库以及车牌注释来训练此网络。由于我们收集的训练数据涵盖了各种各样的变化，因此该网络旨在适应各种不同的情况，并对车牌的区域差异具有很强的适应性。
训练：车牌识别 通过完成以下任务进行一系列CNN培训：
- 确认是否存在字符。这是一个二元深层网络分类器，它们使用牌照字符片段作为正片和背景板以及符号作为底片进行训练。各种字体以及负面样本、健康样本有助于培养健全的系统。因此，这个模型有助于滤除字符识别任务后面的非字符片段。
- 如果存在字符，则识别该字符。 和[17]一样，为了字符识别的任务训练一个深层的CNN。 网络训练的完整字符数据集包含35个不同的类别，即0-9和不包括O的A-Z（由于O和0的相似性，我们认为它们是相同的）。 由于牌照不包含小写字符，因此忽略小写字符。 字形，光照和角色段的作物变化产生了一个能够在不同情况下工作的网络。
2.3测试
我们的自动车牌检测和识别管道的工作原理在图1的测试部分（第3行）中进行了说明。下面我们将详细介绍每个步骤。
测试：车牌检测 给定一个输入图像，第一个任务是确定它是否包含车牌。为了完成这项任务，我们通过我们的深车牌检测网络来运行图像。如前所述，该网络对于不同的条件（例如照明变化，视角，遮挡等）和车牌变化（例如形状，格式，背景等）是稳健的，使得它在各种场景中高度准确。
测试：牌照识别 一旦检测到牌照，我们需要一种机制来读取牌照。最好的方法是分割/隔离每个牌照字符，在组合结果之前对每个字符进行字符检测和识别。
为了实现这个目标，我们设计了许多分段算法和技术，能够在已知的变化中无缝工作。 为了确保所有车牌字符都被捕获，我们设计了一个多步骤分割过程。字符分割的复杂程度随着每一步而增加; 最初的步骤捕获简单的字符分割，而后面的步骤有助于隔离不同的/难理解的字符。 注意到我们通常保持分割检查宽松是有帮助的，因为我们使用下一步来帮助筛选非字符中的字符。
由于我们使用宽松的技术来分割字符，所以在最后的分段列表中必然会有非字符分段。 我们通过使用字符检测深度网络来对这些问题进行过滤，这些深度网络使用真正的车牌字符对非字符符号（例如轮椅，旗帜等）进行训练。这种二元分类通过从最终识别任务中排除非字符片段（可能看起来与字符相似）而增加了额外的正确性能。作为最后一步，每个字符片段在构建牌照结果之前被分为35个类别之一。
3.实验
本节详细介绍了基准数据集的实验结果以及与当前最新技术的比较。
3.1数据集
为了对我们的管道进行基准测试，我们针对公开的车牌数据集进行了测试为了证明我们的系统对来自不同地区的车牌是不可知的，我们选择了两个包含348张图像的美国车牌[18,19]的数据集和608张欧洲车牌图像[20,21]
为了能够读取车牌，处理过程是在一定的分辨率下完成的。尽管这些数据集中的大部分图像都是合理的，但有一些例外情况是照明，尺寸和模糊使得找到并且读取印版非常困难。 这些困难示例的一些示例显示在图3中。为了公平地识别系统，我们在执行基准测试之前移除了这些示例。应该注意，移除这些不合理的困难示例并不意味着剩余的图像都是干净和简单的。数据仍然包含各种图像，包括照明，姿态，大小等各种变换的简单和困难的示例。更新的数据集信息如下：
- 取出20个样本后，总共328张美国车牌图像
- 删除58个样本后，总共550张欧洲牌照图像
图3：困难示例图
图3：该图显示了运行基准测试之前删除的一些困难示例（照明，模糊，大小，角度等）。 用于识别处理的裁剪车牌显示在每个样本的左下角。
3.2比较
为了进行比较，我们将结果与OpenALPR开源[22]和OpenALPR Cloud API [23]进行基准测试。值得注意的是，与OpenALPR不同，Sighthound的方法不需要用户输入板的类型（例如美国，欧洲）。这意味着一个统一的模型对于来自这些地区的印版是有利的。
由于本文的目标是基准端到端系统，因此在识别阶段未检测到车牌也会导致罚款。因此，我们检测不到的任何印版都意味着未能识别印版。
3.3结果
在这里，我们针对OpenALPR 提供的用于车牌检测和识别任务的不同数据集提供的解决方案的定性和定量结果。
定量结果：车牌检测 我们使用精确度和召回率来比较不同的方法。由于所有技术都达到了100％的精确度，因此有意义的比较在于召回数量。
表1显示了我们的车牌检测器与OpenALPR竞争对手在不同数据集上的比较结果。 我们可以清楚地看到Sighthound的牌照检测器比OpenALPR提出的解决方案表现得更好。因此，我们的系统几乎总能找到特定场景中的车牌。
|
Table 1 |
|||
|
Dataset |
Openalpr (open source) |
Openalpr (cloud api) |
sighthound |
|
USA Europe |
86.89% 91.09% |
89.33% 90.36% |
99.09% 99.64% |
表1：跨不同数据集的牌照检测召回数量
定量结果：车牌识别 我们使用最佳序列匹配技术评估两种方法; 预测结果和地面真值之间最常见的序列用于计算车牌的精度。表2显示了我们的识别方法与OpenALPR相比的结果。 正如预期的那样，Sighthound提出的车牌识别方法改进了两种OpenALPR的实现。值得称赞的是，我们的系统在所有可能的数据变化中都能够正确识别车牌字符串，其准确率高于90％。
|
Table 2 |
|||
|
Dataset |
Openalpr (open source) |
Openalpr (cloud api) |
sighthound |
|
USA Europe |
78.36% 84.80% |
84.64% 86.75% |
93.44% 94.55% |
表2：跨越不同数据集的车牌识别精度
定性结果 图4：我们在此使用我们的车牌检测和识别系统提供一些定性结果。人们可以观察到该系统在各种变化（例如照明，尺寸，模糊，角度等）和车牌模板（例如
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[22524]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
