英语原文共 19 页，剩余内容已隐藏，支付完成后下载完整资料
基于毫米波雷达和机器视觉的车道识别
摄像机可以通过提取车道线来检测车道上的环境，但这种检测由于受光照等因素的限制，只能探测近距离。雷达可以发现远处的物体，但不能探测车道条件。本文结合利用毫米波雷达的机器视觉，提取出附近清晰的车道线图像。同时，雷达获取远距离车辆运动轨迹信息。然后采用最小二乘法曲线拟合运动轨迹信息重建车道线信息。最后，融合两段车道线，应用拟合优度完成相应车道线的匹配。同时，对两段车道线之间，没有摄像机或雷达可以探测的区域，我们建立了一个车道模型，利用概率神经网络匹配选择相应的车道模型，然后用近似的数学表达式根据选定的车道模型，最终得到当前车辆的前方道路信息。
关键词：车道识别；雷达；摄像机；组合。
1 简介
先进驾驶辅助系统（ADAS）利用车内外的各种传感器对车辆进行环境数据采集，并检测和识别目标对象，使驾驶员能提前感知可能存在的危险，提高驾驶安全性。摄像机可以直接反映车辆周围的情况，但由于光照、遮挡等因素的影响，只能检测到近距离。汽车雷达大多数是毫米波雷达，可以探测远距离物体。ADAS系统要求对车辆周围环境有清晰的认识，因此，可以通过雷达获取远距离车道线信息，从而补充在近距离通过摄像机获得的车道线信息。
最近，研究人员使用的大多数检测车道的方法都是基于机器视觉，例如，根据不同的梯度算子获取车道线的边缘信息，然后将边缘图像组织成有意义的结构或使用道路模型进行匹配;利用霍夫变换、B样条曲线等方法提取车道线。此外，参考文献10采用霍夫变换来检测车道标志和背景并还原的方法来检测运动目标。然后根据三种正常变道条件，定义可变车道，判断车辆是否穿越车道。另一个研究重点是利用线性逼近的方法提高曲线道路车道检测的性能。然而，这种方法不能保证实时性要求。参考文献2提出了一种在车道内筛选特征点的渐进检索方法，来得到车道的真实参数。该方法通过提取特征点对传统的霍夫变换方法进行改进，重构道路模型。雷达检测车道线需要依靠目标对象的状态，如德科，博世。也有一些例子，将机器视觉和雷达相结合用于车道识别，例如吉林大学。Mobus等人提出用雷达预估前方车辆的运动状态，以估计前方道路的曲率，实现车道线的识别。
综合考虑目前的车道检测方法，本文结合机器视觉技术和毫米波雷达和用霍夫变换在从近距离不同的车道线上提取图像；同时，雷达得到远处的车辆运动轨迹信息，收到曲线拟合，通过最小二乘法，以及拟合优度来完成相应的车道线的匹配。对于既没有摄像机也没有雷达检测的两条车道线之间的区域，我们建立了车道模型，利用概率神经网络来选择相应的车道模型进行匹配，从而重建车道，最后得到了当前车辆的前方道路信息。并对动态识别车道线进行了讨论，得出了稳定车道线的时间。
2图像的车道线提取与坐标变换
2.1图像的车道线提取
道路上的车道线往往是直线或部分的，所以图像车道线的提取必须根据这种情况进行调整。在道路上，短距离的车道线大多近似直线。霍夫变换是一种基于全局信息统计的直线提取方法。通过对图像特征点对应的参数空间中的位置积分，求出参数空间的峰值，从而得到直线公式。
因此，在直线方程下面选择直线模型进行检验：
y=kx b
如果直线趋向于垂直方向，那么k→infin;，直线无法求出。从而将上述方程转化为极坐标：
rho;=xcostheta; ysintheta;
2.2 坐标变换
摄像机成像模型是对三维世界向二维世界投影的描述，因此，摄像机成像的坐标系统由三部分组成：图像坐标、摄像机坐标和世界坐标。本文提出在世界坐标系中建立车道线信息模型，使图像中的车道线由图像坐标转换为世界坐标。图像坐标与图像物理坐标的关系为
，
其中u和v是像素坐标；dx和dy表示每个像素的物理尺寸，分别在X轴和Y轴图像物理坐标；（u0，v0）是图像物理坐标系的原点坐标时，其在图像像素坐标；x和y是物理坐标。
摄像机坐标与图像物理坐标的关系为
，
（XC，YC，ZC）是摄像机坐标系，其原点是相机的光学中心。ZC轴与相机的光轴；XC 轴和YC轴是平行的，分别对X轴和Y轴图像物理坐标；F代表镜头的焦距。世界坐标与相机坐标的关系是
，
其中r为3*3正交单位矩阵，t为三维平移向量；=（0,0,0）。
从上述三个方程出发，可以在世界坐标系中显示图像坐标，提取出的车道线显示在世界坐标下：
在图1中，黄色梯形区域是图像车道线检测的范围，图2是车道线坐标转换的结果。
图 1车道线的摄像机检测
图 2车道线坐标变换
3雷达目标轨迹跟踪
3.1 坐标补偿
在车道线检测中，由于车辆雷达和目标的高速运动，雷达获取的车道线图像和信息不断变化，车道线所获取的信息都是一段时间的，因此需要将时变运动转化为同一坐标系。然而，通过车载雷达获得的目标信息是相对于当前车辆的坐标系统；处理目标的运动轨迹前，被雷达探测到的信息应该被转换成当前车辆的坐标系统，然后对目标的运动轨迹加工。图3是坐标补偿示意图。
从图3可以看出，与前一时刻的当前车辆的坐标相比，当前车辆在下一时刻的变化可以用旋转变换和平移变换来描述。因此，对当前车辆运动的坐标补偿可分为旋转变换和平移变换。
图 3坐标补偿图
在i时刻，当前车辆的坐标可以表示为（xi，yi），行车速度为V.假设采样周期为T，然后在一个采样周期里当前车辆行驶距离L=v*T。对于任何一条直线或曲线，在一定条件下，它可以近似地看作圆的圆弧。本文采用这种假设，以短距离的车道线为圆弧。因此，距离是当前车辆在t时间内行驶的弧长。在i时刻，根据当前车辆中摄像机获取的车道线信息，可以得到当前时刻车道线的半径R，从而可以通过弧长公式求出当前车辆的转角：
旋转后，坐标状态为
转换后，状态接近于
3.2目标轨迹曲线拟合
对于单个目标的运动轨迹，可以看作是多个离散点的曲线拟合问题。道路的轮廓总是不固定的，主要包括直线和各种弯曲路径。基于模型匹配的车道线识别方法可以看出，车道线的物理形态可以用直线或抛物线拟合，表明车道线的分布在一定程度上符合数学曲线的特征。考虑到雷达探测到的目标是离散点，前方车道线的分布未知，本文分别采用最小二乘法和B样条曲线法对弹道数据进行拟合。
基于偏差平方和最小原理的曲线拟合方法称为曲线拟合最小二乘法。与解析方法相符合的线性曲线拟合数学方程为
其中是未知参数，。
它的曲线拟合问题可以转化为如下方程求解。
通过这种方式，可以确定参数。
用最小二乘法直接处理非线性曲线拟合是比较复杂的。然而，它可以通过描述估计的参数形式的线性通过数学变换，然后进行最小二乘曲线拟合简化。因此，曲线拟合最小二乘法可以较好地解决曲线拟合中的大多数问题。
B样条函数和最小二乘法拟合结果如下：
图4表明最小二乘法生成的曲线与车道线吻合较好，而B样条曲线的分段拟合结果明显小于最小二乘曲线。通过对两种拟合方法的综合比较，采用最小二乘法对车辆行驶路径进行曲线拟合。
目标轨迹与车道线轮廓之间存在一定的联系。利用雷达获取目标航迹的车道线轮廓线，然后根据轮廓，在目标始终在车道上行驶的情况下，重建目标区内的车道线信息。考虑到目标的运动轨迹，在观测车前方可能存在多个目标，在车道线重建过程中可能存在多个拟合曲线，因此在重建的车道线中存在偏差。
图 4曲线拟合结果比较
图 5多目标示意图
单个目标运动轨迹的拟合车道线轮廓是非线性的，由于拟合误差，轮廓上存在许多曲率。因此，目标车道线的重建将不再依赖于获得曲率。相反，以拟合车道线轮廓作为模板，在目标位置平移一定距离，以此作为目标所在地车道线的实际情况。
对于多个目标，只有两个目标作为例子，在这个讨论中，有三个不同的条件，如图5所示。
如图5所示，在目标位置有三条车道线时，不能直接确认多个目标的车道。因此，本文提出了一种基于轨迹拟合的车道分布确认方法。通过其历史轨迹可以得到每个目标的运动轨迹，并通过曲线拟合得到各目标的车道线轮廓。通过对道路形状的分析，可以知道道路无论是直线的还是圆形的，都可以看作是近距离的圆的一部分。因此，以拟合曲线的周边点为弧来扩展目标的运动轨迹，所有目标轨迹的扩展曲线在世界坐标系的x轴和Y轴上都有交点，而交叉区域的距离估计则决定了每个目标的车道分布。
如图6所示，黑点是目标的跟踪点；黑色曲线是拟合车道轮廓；点A、B和C是泳道轮廓上的三个边缘点。三点可以用圆弧来描述。求圆心m，即AM＝BM＝CM，因此后续跟踪拟合可以预测车道线.
如图7所示，红色线是目标1的预测轨迹；目标1和目标2的路径的交叉点在A线和B线之间；在目标1的预测轨迹中，C线是任意点E的法线，与f点处的目标2的轨迹相交。用（x1，y1）表示E，（x2，y2）表示F，则两条曲线的距离R为
图 6车道线预测法
图 7车道线分布法示意图
4 车道信息重建
4.1 对应车道线的匹配
为了预测相机和雷达获取的车道线之间的空白部分，首先要通过图像识别车道线与雷达探测的车道线之间的对应关系。本文利用车道边缘曲率和拟合优度进行匹配。合适的拟合优度指的是回归线适合于观测值的程度，衡量拟合优度的决定系数是，其值的范围是[0,1]。越接近1，拟合度越高。将摄像机获取的车道线边缘曲率计算为C0，并将其应用于车道线信息的拟合；合适的车道线是l0；对车道线的摄像机所获取的边缘的曲率计算L1，然后拟合附近的车道信息得到拟合车道曲线C1。如果l0和l1适合同一车道线，那么两车道线之间的适合度会很高。但如果不是同一车道线，那么他们的适合度就很低。本文利用R2分别测量摄像机和雷达对车道线的相似性。假定拟合优度的阈值为a。当时，可以确定，目前的车辆和目标车辆位于同一类型的车道，否则，它们位于不同类型的车道。
如图8所示，通过摄像机获取当前车辆车道线附近的信息，通过雷达数据获取目标位置的车道线，而中间虚线则需要从摄像机和雷达获取的车道线信息中预测。利用上述方法，分别利用相邻和较远的车道线信息拟合出的车道线，再通过计算R2的拟合优度，对每条车道线进行匹配和判断。
R2的计算如下。对于预测车道线，按x轴坐标进行均匀采样。摄像机获得的车道线值是yi，雷达获得的车道线值为Yi，回归平方和与平方和的商为，即，
图 8车道线预测融合部分
与所需拟合度一致的车道线被认为是相应的车道线，用于以后车道线的重建。
4.2车道线模型的选择
调查车道线的现有条件，基本上有以下五种类型。
通过观察这五种类型的车道线，可以发现它们的区别是车道入口和出口处的车道线的切线斜率的变化。图9（a）是一条直线，每个点在切线上的切线斜率是无限的；图9（b）是直角转弯曲线，其切线斜率从无穷大减小到零；图9（c）是一种常见的右转曲线，其切线斜率在车道入口和出口处的两点之间的切向斜率之间变化；图9（d）是一种常见的左转曲线，其切线斜率也在车道入口和出口处的两点之间的切向斜率之间变化；图9（e）是一个左转直角曲线，其切线斜率从负无穷到零的变化。因此，可以将切向坡度的变化作为划分这五种车道类型的特征。为了简化切向坡度的计算，可以直接选择两条车道线边缘上的连续点作为切线斜率计算边坡。
概率神经网络是用来解决分类问题的一种特殊的人工神经网络，其理论基础是贝叶斯最小风险准则。概率神经网络在前馈神经网络的贝叶斯估计，使得贝叶斯决策依据概率密度的非参数估计得到的分类结果。概率神经网络有四层：输入层、隐含层、求和层和输出层，如图10所示。
第一层为输入层，用于接收训练样本的值并将数据传输到隐含层；神经元数等于输入向量的长度。
第二层是一个隐含层，也是一个径向基层，它采用高斯函数作为传递函数，每个神经元节点都有一个中心。该层接收输入层的样本数据，计算出输入向量与中心的距离，最后返回一个标量值。神经元数等于输入训练样本数。在隐层输入向量，由隐层中i种模式的j神经元所决定的输入输出关系用下面的公式定义：
其中M是在训练样本的类别总数，D是数据采样空间维数，Xij是我种样品J中心。本文分别从各种车道模型中选取三个样本进行训练，隐层包含15个神经元。
第三层是求和层，它对隐含层中属于同一类隐层神经元的输出加权平均：
其中vi表示I类的输出，L表示i类神经元的个数。在累加层中，神经元的数目与类别数m相同，即5。
第四层为输出层，在输出层中以最大一层作为输出类别。
在实际计算中，首先对输入层向量进行加权系数相乘，然后输入径向基函数进行计算。
假设x和w被标准化为单位长度，然后对结果进行径向基运算，这相当于下面的公式：
等于
其中，平滑因子的取值决定了以采样点为中心的钟形曲线的宽度，从而对网络的性能起着至关重要的作用。此外，当它在一定范围内变化时，会有一个提供最佳识别效果的值。通常，这样的值是手工确定的，因此在反复试验中可以找到具有最佳结果的值。
因此，本文采用概率神经网络结构的确定是2-15-5-5。对于单车道线的拟合，每个概率神经网络都有两个输入特征：一个是图像所检测到的车道线端点处的切向斜率，另一个是通过雷达跟踪目标得到的车道线端点的切向斜率。输出是五车道模型中的一个。用概率神经网络进行测试的分类结果见表1。
在这100个实验中，98个实验是正确的，只有两个错误，证明了概率神经
全文共5473字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[10829]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
