Road detection based on the fusion of lidar and image data
基于激光雷达和图像数据融合的道路检测
摘要
在本文中，我们提出了一种基于条件随机场框架下激光雷达与图像数据融合的道路检测方法。首先将激光雷达点云通过交叉标定投影到单目图像中，得到稀疏高度图像，然后通过联合双边滤波器得到高分辨率高度图像。然后，对于所有具有相应激光雷达点云的训练图像像素，我们分别从彩色图像和激光雷达点云中提取它们的特征，并将这些特征与位置特征一起用于训练Adaboost分类器。之后，所有测试像素在条件随机场框架下被分类为道路或非道路。在这个条件随机场框架中，我们使用从Adaboost分类器计算出的分数作为单点势能，并将每个像素的高度值及其颜色信息一起考虑为成对点势能。最后，对KITTI 道路数据集进行了实验测试，结果表明我们的方法在该数据集上表现良好。
关键词
道路检测，条件随机场，多传感器融合，机器视觉，自动驾驶车辆
介绍
道路检测一直是自动驾驶中的关键问题。出于安全考虑，无人驾驶的地面车辆必须拥有在各种环境下分辨道路、空地以及障碍物的能力，同时还必须遵守交通规则。在过去的几十年中，对于这个问题，已经有许多人提出了不同的方法。 然而，由于不同环境中的复杂状况和障碍以及各种照明条件，道路检测仍然是一项具有挑战性的任务。
现在已经有许多基于单目图像的道路检测方法。与其他传感器相比，单目可见光摄像机便宜得多，因此可以得到广泛的应用。目前，随着三维传感器的快速发展，越来越多的道路检测方法以立体视觉或激光测距仪为基础。例如Kinect，一款能够以深度图像的形式提供稠密深度图，并且价格便宜的三维传感器，它被广泛用于室内场景。 另一方面，在室外场景中，最常见的三维传感器是激光检测和测距（激光雷达），例如Velodyne HDL-64E（Velodyne LIDAR，USA）。这种传感器可以提供点云形式的三维距离数据，其最大范围为60-80米。
三维传感器具有很多优点，比如他们可以提供三维结构信息，并且对光照条件的变化具有较强的鲁棒性。然而，他们也有一些弱点。例如，立体视觉传感器对环境中的噪声和物体运动非常敏感，而激光雷达仅能提供稀疏的远距离物体数据，且没有色彩信息，这有助于探测道路区域。因此，融合不同传感器的数据是一种较好的道路检测方法。
然而，虽然已经提出了许多方法，但道路检测仍然是一个悬而未决的问题，因为大多数方法只提取图像和LIDAR数据的低层特征，然后将它们融合到特征层中，以训练分类器来检测道路。为了提高道路检测的性能，在本文中，我们提出了一个基于多传感器的道路检测方法，尝试将数据在数据级与特征级进行融合。具体地说，在我们的方法中，首先，我们将激光雷达点云投影到图像中，得到稀疏的原始高度图像。然后，我们通过联合双边滤波器上采样这些高度图像，使所有像素都有自己的高度值。对于每个具有其先前对应的雷达点的像素，我们提取它们的基元特征[1]，基于激光雷达的特征和位置特征。然后，我们使用条件随机场（CRF）框架将每个像素分为道路像素或非道路像素。在该框架下，所有提取的特征用于训练AdaBoost分类器，并将该分类器计算的分数看作单点势能。同时，将像素的颜色值和高度值的差异作为成对点势能。然后，用图形分割进行优化。实验测试已经在KITTI道路数据集进行[2]，结果表明我们的方法表现良好。
本文的结构安排如下：首先，简要回顾相关工作，然后给出详细的方法，之后在KITTI道路的基准上展示我们的实验结果，最后对文章进行总结。
相关工作
在过去的几十年来，已经产生了多种道路检测方法。在这些方法中，两种不同的传感器被单独或是联合使用：单目视觉传感器（可见光相机）和三维传感器（包括立体视觉传感器和激光雷达传感器）。
有许多道路检测方法基于单目视觉传感器。由于这种传感器非常便宜，它在这类任务中已经运用了几十年了。这些方法中的大多数使用像素的低级特征（例如纹理，边缘或颜色）来将道路区域与非道路区域分开。例如，Malik等人设计了一个N维滤波器组，并用它对图像进行卷积以得到每个像素的响应作为它们的纹理基元特征。这种特征已被证明是有效的，并且还提出了一些基于此的其他改进方法。此外，这些方法通常假设图像的特定部分，例如图像的较低部分更有可能是道路[3].除了低级特征之外，还有一些研究运用前后关系线索来改进结果。
例如，Alvarez和 Lopez[5]提出了一种结合法，将包括水平线，消失点，车道标线等在内的环境与低水平线索结合起来检测道路，从而使该方法对变化的成像条件具有鲁棒性。
其他一些方法使用来自三维传感器（如立体摄像机或激光雷达传感器）或来自三维传感器和单目摄像机的融合数据来检测道路区域。Nanri等[6]提出了一种计算高度变化的方法，在密集视差图上的几条多方向扫描线上进行路面检测，即使有不平滑的边缘或锯齿状的边界，它们也可以检测到各种道路边界。Suger等[7]从三维点生成二维网格图，并从每个单独的方格中提取特征。这种特征包含五个测量方法：z坐标的绝对最大差异，缓解值（remission value）的平均值，缓解值的方差，粗糙度和方格的斜率。 Xiao等人[4]在条件随机场的框架下融合了激光雷达数据和单目图像来检测道路。在他们的方法中，他们使用智能像素纹理，面向对象渐变的密集的定向梯度（dense HOG），颜色和位置线索作为图像特征，并且以归一化三维坐标和各点的局部法向量的方向作为激光雷达的特征。Shinzato等[8]还提出了一种通过传感器融合的道路地形检测方法，他们在图像透视图中使用了空间关系结合实际三维度量值来确定点是否与障碍物相匹配。之后，他们使用极坐标直方图生成代表图像中道路区域的置信图。
我们的方法还根据激光雷达和图像数据的融合检测道路区域。然而，在上面提到的这些方法中，他们通常会提取基于激光雷达的低级特征，如高度绝对最大值，高度平均值，法向量等等，以便与基于图像的特征融合。与它们相比，我们提出了一种基于激光雷达的特征，该特征可以描述一个激光雷达点及其周围点的分布。此外，我们将激光雷达点云投影到图像中以生成密集高度图像，并在条件随机场框架中使用这些高度图像来消除阴影对路面的影响。
基于激光雷达和图像融合的道路检测
高度图像采样
通常，不同的照明条件对色差有很大的影响。 因此，去除道路表面的阴影可以极大地提高道路检测的性能[5]。处理这个问题最常用的方法是将彩色图像转换为无阴影图像，这些图像对照明条件不敏感。 例如，Alvarez和Lopez[9]提出了一种将图像从RGB通道转换为阴影不变特征通道的方法。他们用r=log(R/G)和和b=log(B/G)来代替R、G和B
图1 无阴影图像和高度图像。第一行是彩色图像，第二行是无阴影图像，第三行是高分辨率高度图像。
r = log(R = G)和b = log(B = G)取代R，G和B，这意味着RGB图像中的每个像素Pi =(Ri,Gi,Bi)现在被转换为Prsquo;i =(ri，bi)。然后他们被投影到一条线ltheta;上，其中theta;表示线的方向。之后，我们将Prsquo;i =(ri,bi )和Prsquo;0 =(0,0)的投影结果之间的距离表示为无阴影通道中每个像素的值。这些转换后的图像被命名为无阴影图像。
但是如图1所示，无阴影图像有很多噪声，并且一些道路边缘，例如图像上的左侧路缘变得不清楚。因此，我们不使用那些无阴影图像，而通过融合激光雷达和图像数据生成高度图像，并使用这些高度图像消除阴影的影响，同时保持边缘清晰。
正如我们上面提到的，一些其他的方法也使用高度平滑度或高度变化来检测道路区域[6]，但不同于仅使用激光雷达点的高度信息，我们尝试获取每个图像像素的高度并生成密集高度图像。为此，首先，我们通过将激光雷达坐标系中的三维点Plidar = {X,Y,Z}转换成摄像机坐标系中的二维点Pcamera={U,V}来融合激光雷达点云和彩色图像。在标定的基础上，变换方程如下
(1)
是原图像摄像机变换到矫正图像摄像机的旋转矩阵，是变换矩阵。更确切地说，可以这样表述
(2)
是旋转矩阵，是转换矩阵。它们用于将点从激光雷达坐标系转换到摄像机坐标系。
通常，这些矩阵在一些数据集，比如KITTI中预先进行了计算。因此，在我们的方法中，我们假设这些矩阵已经进行了预先计算。详情请参考Geiger的文章[10][11]。
在投影之后，一些图像像素具有了深度信息，而另一些没有。我们需要对这些稀疏的高度图像进行采样来得到高分辨率的平滑、密集高度图像。采样方法通常有两种，一种基于MRF框架[14-16]，另一种基于联合双边滤波器。在我们的方法中，我们选择了联合双边滤波器来对我们的高度图像进行采样。联合双边滤波器是基于一种相似颜色的区域往往具有相似的高度值的假设。就像我们在上面提到的方法[14-16]，我们使用的联合双边滤波器公式表述如下：
alpha;是归一化因子，它确保了权重总和为1，是像素Pi=(ui,vi)的新高度值，Ni是Pi的邻域，是具有标准偏差权重的高斯（ Gaussian with standard deviation weights），||CI-Cj||是Pi和Pj在彩色通道的欧几里得距离，||i-j||是像素i和j的欧几里得距离。总而言之，每一个高度值都被相邻的高度值的加权组合所取代。
如图2所示，在进行采样处理之后，所有的像素点都有了高度值。
图2. 高度图像采样。第一行是彩色图像，第二行是低分辨率高度图像，第三行是高分辨率高度图像
特征提取
我们使用的条件随机场的单点势能是变量Xi采用标签xi:psi;i(xi)=logp(xi)的负对数似然,其中p(xi)是Xi的道路概率，这个概率由一个经过训练的Adaboost分类器得出。为了训练这样的分类器，我们提取以下特征：基于彩色图像的纹理特征，基于激光雷达的特征以及位置特征。
纹理特征是滤波器组3对彩色图像的响应。滤波器组包括k，2k和4k频率点处的高斯滤波器；2k和4k处的高斯滤波器的x和y的导数；以及k，2k，4k和8k的高斯拉普拉斯算子。将图像转换到Lab色彩空间后，高斯滤波器将应用于所有三个彩色通道，而其他滤波器仅应用于L通道。最后，我们可以得到每个像素的18维向量。
我们还提出了一种基于激光雷达的特征，名为局部距离分配(LDD)。具体来说，定义eta;为三维点Pi={xi,yi,zi}的邻域，其中Pi和Pj的欧几里得距离Dij小于gamma;D。实际上，gamma;D的值通常介于0.3米至0.5米之间。那么，所有的邻域空间都等分为M*N*K大小的空间单元。对于一个点Pi，其分布直方图Hs，s = {1,2,...M*N*K}在单元s中的定义如下
(6)
因此，点Pi的LDD特征是是一个M*N*K维特征H={H1,H2,...,HM*N*K}。图3展示了获取LDD特征的方法。
除此之外，由于图像的中下部更有可能是道路，我们也运用了图中像素的坐标作为位置特征。
运用条件随机场进行道路检测
自从Shotton等[17]首先在语义标注中使用条件随机场之后，许多观点的变体也被提出。道路检测可以看作是两类（道路和非道路）标注问题，其中每个像素pi作为离散随机变量xiisin;L，L={道路，非道路}是它的标签（label），iisin;V={1,2,...,N}。集合(clique)C是一组相互关联的随机变量xc。
对于给定的观察图像I，标签的后验概率是吉布斯(Gibbs)分布，可以写成
（7）
是一个归一化常数，C是一系列C是所有派系(clique)
全文共8194字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[14406]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
