英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
重型车辆立体障碍物检测仪误差预测的视差空间图像特征分析
Alberto Broggi, Stefano Cattani, Elena Cardarelli, Brad Kriel, Michael S. McDaniel, Hong Chang
摘要：基于视觉的感知技术作为一种低成本、灵活的工业应用技术和ADAS技术，已经得到了广泛的应用。它固有的灵活性给量化性能带来了挑战，甚至常常会随着条件的变化量化系统性能的增加或减少。经验使设计师能够运用各种“经验法则”，而商业上可行的产品需要定量的性能。本文探讨了视差空间图像（DSI）的特征与特性之间的相关性，以及由此产生的目标检测应用性能。具体应用是一种适用于土方行业中经常出现的高度混沌环境的目标检测系统。具有强相关性的特征和特性可用于改进系统设计和预测系统运行时的性能。高质量的立体图像被用来表征基线系统的性能。然后，将这些图像进行人工降级，以模拟雾、黑暗、模糊以及与基线结果相比的后续系统性能
1 引言
基于立体视觉的感知系统已经被开发用于工业和汽车应用，最近在越野应用中也得到了应用[1]。视觉系统在工业应用中的成熟度是相当高的，在恶劣的环境中是一致的和可控的。原型汽车视觉系统已经证明了卓越的能力，但商业解决方案必须满足非常具有挑战性和不受控制的环境变量。基于视觉系统的设计者可以使用的参数数量使得这些系统能够适应广泛的应用。由此产生的系统是非常复杂的直接和间接反馈路径。有经验的开发人员可以主观地评估底层映像，直观地知道系统的性能。将“经验法则”和定性评估转化为可量化的参数将有助于定义系统的各种曲线和界限。
VisLab和Caterpillar联合开发了一个基于立体视觉的目标检测原型系统，并在越野环境下进行了测试。视差引擎基于同一场景的两个图像之间的透视差异生成三维数据集，即视差空间图像（DSI）[2]或视差图。视差图的其他处理可得出地形和非地形对象的估计值[3]。
|
|
|
图1 基于立体视觉的地形测绘与目标检测系统框图 |
如图1所示。原型系统在有限的测试中表现良好。测试结果表明，目标检测算法的性能与视差图质量的主观评价密切相关。具有稠密、低噪声点的视差图能够产生良好的目标检测效果，而稀疏和/或噪声视差图会导致不可接受的目标检测结果。基于这些观察，研究小组寻找了检测结果和视差图特征之间的定量联系。作为示例，图2示出了在显著不同的照明条件下记录的场景的结果以及由此产生的视差图。
|
|
|
图2 这是一个例子，其中是坏光对视差空间图像的影响。在左栏（a）是可见的，在良好的照明和相应的密集DSI下拍摄的右图像。在右栏（b）上，与早上看到的场景相同：现在DSI的密度明显降低。 |
在这里，强调我们方法的一个方面很重要：在文献中已经存在一些关于立体图像质量测量的研究。基于峰值噪声比（PNSR）或信噪比（SNR）[4]或严格的主观评价[5]的图像质量度量不是用于此特定应用的视差图质量是否足够的可靠指标。我们的方法要求存在一个链接，一个函数，它直接关系到DSI和整体算法性能，当用DSI的3D点云提供地形估计和障碍物检测块时获得。
这个环节被形式化为一个线性函数，将一组视差图像的特征和相应的结果联系起来。一旦这个线性关系的系数已知，生成的度量也将允许我们预测算法在其他条件下的性能。
研究特征与错误之间的相关性，我们还希望将特征集减少到最能表征视差质量的特征集。
总之，本文定义了视差图中感兴趣的参数。描述了与黑暗、雾和模糊一致的图像质量下降。分析包括使用图像的训练集训练线性预测器，然后在图像降级时在不同的测试集上估计相应的性能。总结了参数与整体性能之间的关系，并提出了扩展和研究方向。
本文的其余工作安排如下：第二节简要介绍了图像退化；第三节描述了使用哪些特征以及如何计算这些特征；第四节介绍了如何通过线性函数将每个特征集与相应的检测误差相关联，以及相关分析在减小输入空间方面的作用；第五节和第六节分别给出了误差预测结果和论文的结论。
2 降级图像
我们使用了3种不同类型的退化图像（图3（A）（B）和（C））。这种退化是人为增加的：从非常好的图像开始，在良好的照明条件下拍摄，我们增加了诸如噪声、大气效应、雾、黑暗和传感器噪声等干扰。
|
|
|
图3 退化图像对象：（A）、（B）和（C）是训练集的一部分，（D）是测试集 |
- 人工高斯模糊：运动伪影和相机焦距差导致图像模糊。使用人工高斯模糊近似这种退化，其中原始图像通过此函数卷积：
（1）
sigma;值从1增加到50，增加1步。卷积矩阵的大小从1到40。
- 人工雾：大气雾减少了场景中的对比度，对比度与观察者和场景中的点之间的距离成正比。使用以下公式将人工雾引入原始图像（OpenGL模型[6]）：
（2）
其中f是混合系数，使用指数函数计算：
（3）
其中d是雾密度，z是视点和碎片中心之间的眼坐标距离。雾密度从0到1，雾颜色为（127127127）RGB。
- 人工黑暗和噪声：低环境光导致两种现象，降低图像亮度和增加传感器噪声。使用衰减因子与独立的加性高斯噪声耦合来模拟黑暗。
（4）
其中a是衰减因子，noise（u，v）是传感器添加到信号中的高斯白噪声，gain表示相机应用的整体信号放大。系统自动调整快门速度和增益，使平均图像亮度保持在可接受的范围内。因此，随着衰减的增加，增益增加，将噪声放大超过信号值。中频衰减范围从1到0；增益范围从0到9.32，而噪声是高斯的，sigma;从1到5。这些范围是根据相机规格计算出来的[7]。
在已知的“快门”和“增益”值下，在良好的光照条件下拍摄每张图像，然后我们迭代地应用从最轻到最强的不同程度的降级。 在图4中，示出了图像劣化的一些示例以及相应的DSI。
3 DSI功能
首先，本文不想提出一套全面而通用的DSI特性，以适用于任何情况。本文的重点是该框架：如何将一组DSI特征（无论如何定义）与算法性能联系起来。任何自定义DSI功能集都可以应用于该方法。说到这里，让我们看看我们用来测试我们的方法的特性。
如导言所述，一些现有方法侧重于全球测量。全球指标面临的一个挑战是，某些地区的绩效可能与全球指标所建议的绩效存在实质性差异。虽然可以评估图像和DSI的全局质量，但将图像细分为更小的区域并评估局部质量可能更为合适。本地质量度量可能会识别出性能不可接受的区域，否则在使用全局度量进行评估时会屏蔽这些区域。同样具有挑战性的是适当的细分过程和大小、几何和重叠的选择。即使使用相对较少的参数和细分区域，潜在DSI特征的数量也迅速增长到几百个成员。
由于场景特征的不断变化以及退化影响场景中各个区域的不均匀性，将DSI细分为合适的区域是非常复杂的。一个自然的细分可能是将DSI分割成条纹，以推断基于范围的性能。条纹可以类似地细分以产生不重叠的正方形。这种方法产生了物理尺寸一致的非重叠平方。第二个自然细分可能是将像素空间分割成不重叠的正方形，以保持诸如每个区域的差异数等度量的一致性，同时允许范围随每个区域而变化。由于特定的场景特征（如阴影）事先不知道，因此不重叠的片段可能会掩盖性能降低的最早迹象。因此，另一个自然细分是将焦点区域（在本例中为正方形）与原始DSI卷积以产生一系列重叠区域。
对于此分析，使用320x240视差空间图像，我们将重点关注以下细分：
- 条纹（DSIRange）：18条不重叠的0.5m横向条纹，与用于将DSI分割为地形和对象的算法分辨率一致。
- 正方形（DSIFixed）：103个不重叠的20像素x 20像素正方形。
- 窗口（DSIMobile）：由150x150像素的窗口一次移动9像素形成的186个重叠正方形。
- 图像（DSIGlobal）：这里分析整个实际DSI计算区域；该区域可能比整个图像小。
图4 图像退化的一些例子和相应的DSI。自上而下：处于最佳照明条件下的图像；雾，密度d=0.30；雾，密度d=0.37，第一个误报；人工黑暗和噪声，衰减=93.5%（a=0.065），增益=18.062dB；衰减=96.5%（a=0.035），增益=22.499dB；人工模糊，sigma;=6，矩阵大小6；sigma;=50，矩阵大小50；
现在让我们介绍一些与特征计算相关的符号：
- N是视差引擎尝试与左图像像素匹配的右图像像素数。密度为100%的DSI包含N个点。实际上，这低于图像的宽度·高度。
- Nstripe-i 是第i个图像条带上的理论差异数，在完全密集DSI的情况下，对应于地形上0.5m宽的条带。
- Nf-ixed-i图像分割的20x20像素非重叠区域中每个区域的理论差异数；仅考虑障碍物检测的感兴趣区域，我们有103个固定区域；Nmobile-i是图像分割的150x150像素重叠区域中每个区域的理论差异数；每个区域与其垂直和水平邻居重叠141像素；我们有186个移动窗口；
要计算区域内设置的DSI特征，需要评估以下特征：
- 填充：视差图像的密度n/Ne，其中n是在该区域上获得的实际视差数，Ne是期望的相应理论视差数；
- 平均值：在该区域上获得的视差的平均值；
- 方差：该区域之间的差异方差；
- Diff：平坦地形条件下，该区域视差值与预期值之间差异的平均值；
- 间隙数量：视差间隙（洞）的数量，仅考虑面积大于15的间隙；
- 间隙平均面积：平均间隙面积；
- 面积标准偏差：间隙，面积标准差；
- 间隙填充：该特征表示间隙面积与总图像丢失的视差数之比： ；它是对间隙在总视差密度中重要性的度量；
- 间隙填充距离：该特征测量每个间隙与其最近邻居之间的平均距离，并根据相关标准化测量平均间隙的空间浓度。
功能的总数约为840个。由于特征值属于不同的范围，数据按照其标准差进行归一化：对于每种特征类型，计算其在不同帧之间的标准差，并将其作为归一化因子。此规范化不在运行时执行，但仅在培训阶段才有必要。
4 特征分析
为了消除特征集中的冗余和弱信息数据，文献中提出了不同的特征选择方法[8][9]，并进行了一些比较研究[10][11][12]。
Filter（[13]）和wrapper（[14]）模型是两类主要的方法：尽管精度损失，但第二种方法比第一种方法更可靠。
我们的分析试图找出特征值与输出中相应的检测误差之间的线性关系。该分析是在一组包含障碍物的图像上进行的，障碍物由该算法检测，其中视差看起来非常好。然后，对于这些图像中的每一个，执行以下步骤：
1）检测到障碍物并存储其位置（xr，yr，zr）；
2）对图像应用降级；
3）在第i个降级图像上，在位置（xi，yi，zi）上再次检测到障碍物；
4）检测误差计算为重心之间的距离，并与障碍物距离标准化：
（5）
5）返回步骤2，提高降级级别。
在这个过程的最后，我们将得到一个误差向量E和一个特征值矩阵a。a矩阵有一个等于特征数的列数和一个等于分析图像数的行数。通过分析足够大的一组退化图像，我们可以解决这个问题：
（6）
其中w是特征的权重向量。该向量包含840个权重，每个特征一个。
由于线性系统是超定的，我们使用最小二乘拟合来确定与输入数据的最佳拟合相对应的解。
请注意，在没有检测到的情况下，我们不会记录任何值。如果算法不能检测到任何障碍物，我们不引入“默认”错误值，以避免出现可能影响线性变换的异常值。
A. 第一特征分析与约简
在第一阶段，我们计算了上述每个DSI的整个特征集F。在对结果进行第一次分析后，我们注意到：
- 填充特征是主要的；
- 最重要的特征位于障碍物周围或某些依赖于图像的区域，其中DSI的退化比图像的其他部分（例如强阴影）更明显。
-
间隙、变化和差异特征以很小的权重呈现，或完全不存在。 剩余内容已隐藏，支付完成后下载完整资料
资料编号：[236403]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
