英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料
立体图像在空间均匀分布的特征匹配
摘要
在一对立体图像中寻找对应的特征点是计算机视觉中三维重建和物体识别的关键步骤。在实际中，大量对应的特征点和高正确率的匹配是很有用的。以往的研究表明特征点的空间分布也十分重要，尤其是对基础矩阵估计。不过到目前为止，没有一个特征匹配算法考虑到特征点的空间分布。在本课题中，我们发明了一个新算法去寻找好的特征点，并考虑到以下三个方面：更多的特征点；更高正确率的匹配；更好的空间分布。我们的方法包括两个过程：用一个基于相邻特征点差别的可调节的视差平滑滤波器来去除错误的特征点；用一个基于特征点空间分布的匹配搜索算法去寻找更多的特征点，这样特征点可以在图像中均匀的分布。为了准确而有效的寻找特征点，我们在极坐标变换和极线约束下建立了cheirality约束去预测匹配点可能的位置。实验结果表明，我们的方法在对应特征点的数目和匹配正确率上都有很大的提升。在图像中特征点的空间分布也很合理。
1、介绍
一个立体图像对包含两张从不同视角拍摄相同场景或物体的图像。这两个图像通过极线几何相互关联，一幅图像的一个特征在另一幅图像上的匹配视图一定在对应的极线上。这种几何信息可以被一个奇异矩阵代表，这个奇异矩阵就是基础矩阵。当相机的内参数已知，一个和基础矩阵相关的重要矩阵就已经得到了。极线几何将特征点的搜索限制在一维平面，特征点严格的分布在基础矩阵描述的极线上。基础矩阵和对应极线的计算在5-7部分。更详尽的描述和各种基础矩阵计算技术的比较在8-7部分。通过极线几何寻找特征点有助于减少特征点搜索的维度和有助于正确的寻找特征点。相似的想法运用在1-11-12。然而，当一对二维匹配点反投影到三维坐标时，他们没有考虑这个三维点是在像平面的前面还是像平面的后面。三维点和像平面的关系被Hartley命名为cheirality。继刚刚的术语，如果三角化的三维点全部都在两个摄像机的前面，那么我们把这一系列特征点称为一个关于给出的基础矩阵F的强实现。相反地，如果这一系列特征点仅符合基础矩阵F描述的极线几何，不能对应真实的三维点则被称为弱实现。Cheirality在许多研究中十分有用，例如摄像机标定，位姿估计和摄像机运动估计等。假设我们找到了特征点p的三个候选匹配点，，。
图1：具有或不具有真实几何的特征点三角化三维点的示意图。与真实几何关系对应。和不与真实几何关系对应。O和O′分别是两个摄像机的几何中心；e和e′分别是两个图像的极点；和分别是两个主平面；直线O′P′平行于直线OP。因此P′是P沿着直线OP在无穷远处的投影。仅当匹配点位于e′和P′时为真实几何。
图2：半极线的示意图。（a）两个在极点同侧特征点的强实现（b）两个在极点不同侧的强实现（c）两个特征点的弱实现
图1展示了在一个固定的极线几何下3个特征点的反投影。在两个摄像机平面前面的M点是真实几何。对应关系产生的L点在第一个摄像机平面后面，不是真实几何。对应关系产生的N点在两个摄像机平面后面，也不是真实几何。设为沿着P的视线的一个无穷远点，确保产生的三维点具有真实几何，搜索范围为e′到在重投影之间极线。但是，的重投影位置不固定，不能在不知道摄像机内部参数的情况下进行估计。 对于摄像机内部参数未知的较弱的标定情况，在匹配过程中不考虑无穷远点重投影的约束。
在本篇论文中，特征点的齐次坐标是由该特征点的粗体字符表示。例如，p表示特征点p的齐次坐标。在齐次坐标系下极线上的p点被参数化为。假设和分别是极线l和l′上两对特征点。e和e′两个极点把两条极线分成上半部分和下半部分。在强实现中，极线l上的点和极线l′一一对应。换句话说，假设和有真实几何，如果和在e的同一侧，那么和就在e′的相同侧；如果和在e的不同侧，那么和就在e′的不同侧。
正如在[18]指出的，半极线的对应关系有助于寻找正确的特征点。但是到目前为止，没有特征匹配算法考虑到Cheirality特性。
至于特征匹配，在大多数现有的方法中通常涉及两个主要步骤。在第一步中，特征点或角点被检测，然后一个本地区域中每个特征点被特定描述。在第二步中，对于一幅图像中的一个特征点，它的匹配点通过比较其他图像中候选匹配点的相近的描述得到。许多先进的特征点检测器已经在文献中提出过，比如尺度不变特征变换（SIFT）[19]，加速寻找显著的特征（SURF）[20]。寻找特征点的简单方法在[19]中展开，使用最佳匹配和第二最佳匹配的比值决定一对匹配点是否正确。此方法不使用额外的约束并且很容易实现。它的缺点是对选择预定义的阈值敏感。这就是说，如果门限很高，许多正确的对应可能会被删除;如果门限很低，在匹配中可能会保留很多错误的对应点结果。已经开展了一些研究来解决这个问题。在[21]中，成对约束被用来建立一个相邻的矩阵和通过找到主要特征向量来获得对应点。在[22]中，根据几何约束错误的特征点被拒绝。稀疏特征点的全局解决方案在[12]中展开，把寻找特征点的问题制定为整数优化问题，然后通过凸集上的凹规划解决。在[23]中，寻找特征点问题与物体识别通过凝聚对应聚类过程被一起解决。在[24]中，一个三角形约束用于更多对应特征点并检测错误的对应特征点。三角形约束适用于图像相关的单应性，但不支持一般的图像透视转换。上述所有方法都是用来提高寻找到的特征点的正确率或特征点的数目；然而他们都没有考虑特征点的空间分布。[1,9]中的研究发现如果特征点只存在于立体图像的一个很小的部分，那么对极线几何的估计是非常不稳定的。进一步的研究[25]表明均匀分布的特征点非常重要，尤其是对在一对立体图像之间的极线几何估计。因此对于立体图像，一系列好的特征点因此应该具有三个特征：（1）正确对应的总数很大; （2）它们是正确匹配; （3）对应点在图像中的分布尽可能均匀。
宽基线图像可能只包含少量的特征点，其他部分不存在特征点，这导致特征点的空间分布不均匀。因此，在宽基线图像的情况下，特征点均匀的空间分布并不十分重要。但是，在短基线图像的情况下，特征点覆盖图像的大部分，因此应该提倡特征点的均匀空间分布。提倡特征点的均匀空间分布并不意味着实施一个恒定的空间分布，因为空间分布与图像的特征和采用的特征检测器有关。并且一个恒定的空间分布通常是无法实现的。然而，“提倡均匀的空间分配”意味着尝试在没有对应关系或对应关系很少的地方找到更多的特征点，在有大量对应关系的地方选择少量特征点。
本文描述的方法是在没有校准的情况下找到图像中的特征点。一方面，极线几何在寻找特征点时是有用的。另一方面，极线几何估算可靠，得到的特征点分布的很好。因此，同时执行这两个过程时很自然的。与最先进的技术相比，我们的方法在特征点的数目，匹配精度和空间分布表现很好。而且，我们能够获得一个高精度的基础矩阵作为我们方法的一个副产品。
2、可靠的特征点
给定两幅图像中的某些特征点，我们首先选择一些种子特征点或可靠的特征点。在这一步中，我们不试图找到图像对中所有正确的特征点。我们只提取一些可靠的特征点，将用作种子对应关系。从这些可靠的特征点中获得的差异用于指导下一步找到更多的特征点。
对于参考图像中的每个特征点，我们通过应用基于相似性得分的“胜者全取”（WTA）策略，在源图像中的所有特征点中找到其匹配点，所述相似度评分通过两者之间的欧几里德距离描述。 参考图像中的不同特征点可能在源图像中具有相同的匹配点。 因此，如果参考图像中的几个特征点在源图像中具有相同的匹配点，则仅考虑具有最小特征距离的对应关系，并且基于唯一性约束将丢弃所有其他对应关系。 然后进行左右一致性检查。 通过左右一致性检查的特征对应关系构成候选对应特征点集合S。 然后通过使用具有最小中值平方（LMedS）[9]方法的归一化8点算法[7]从S估计基本矩阵F。
3、在考虑空间分布的情况下寻找更多特征点
在这一步中，我们试图通过考虑当前获得的特征点的空间分布来找到更多的特征点。我们希望特征点将尽可能均匀地分布在图像中。请注意，我们不强制执行，而是提倡均匀的空间分布。 因为在某些区域，难以或甚至不可能找到可靠的特征点，例如在无纹理的地区。 我们消除了这些区域不可靠的对应关系，并使特征点在存在大量特征点的区域均匀分布。
本节前面描述的特征点查找步骤的结果中可能存在一些错误的特征点。为了消除所有错误的特征点，我们联合特征点查找步骤中获得的一组对应关系的集合和集合执行ADSF。我们继续迭代地执行ADSF，直到找不到新的对应关系。我们发现这种迭代方法比仅执行一次特征匹配要好得多。在迭代过程中，ADSF可以多次检查正确的对应关系。为了降低计算成本，如果ADSF三次将其视为正确匹配，我们不会再次检查该对应关系。对于参考图像中的特征点P′，在源图像中可能匹配点的区域中通常存在多个候选匹配特征点。正确的特征点不一定总在候选特征点中。假设P′具有多于一个的候选匹配点，表示为 ′，它们按照它们的匹配分数排序。在第一轮匹配中，选择 ′。如果在迭代匹配的过程中被ADSF拒绝，则在下一轮中将选择 ′，并且这个过程可以遍历所有的候选特征点。
4、基础矩阵的重新估计
在找到更多且均匀分布的特征点之后，使用所获得的对应关系来对F矩阵进行重新估计，以指导下一轮匹配过程。我们发现，当重新估计的F矩阵接近于先前估计的F矩阵时，获得的对应关系几乎与前一轮匹配中获得的对应关系相同。为了估计两个连续估计F矩阵之间的相似性，我们采用[9]中描述的基本矩阵比较方法，该方法使用Sampson距离度量相似度并计算称为Sampson误差的误差。如果此Sampson误差小于阈值tau;，则匹配过程将停止。否则，当达到最大迭代次数时，匹配过程停止。将最大迭代次数设置为较大的值并将tau;设置为较小的值，需要在匹配过程停止之前进行更多迭代。在我们的实验中，我们设置tau;=1.0和 = 4，并发现这个设置对于测试图像很好。
5、算法步骤
这里我们总结前面几节中描述的方法并给出我们算法的步骤。
1.检测特征点并计算其局部描述符。
2.使用第3.1节中所述的方法获得候选特征点S。
3.用S计算基本矩阵F.
4.根据（10）使用F去除S中的错误特征点。
5.使用F的Cheirality约束消除S中的错误特征点。
（a）计算两幅图像的极点。
（b）根据（1）中给出的变换关系计算每个特征点的新图像坐标。
（c）对每个特征点进行极坐标变换并获得极坐标，（theta;，r）。
（d）使用第2节所述的方法计算。
（e）根据（10）中获得的去除S中的错误特征点。
6.在一系列候选特征点（S）上执行ADSF，并获得如3.2节所述的。
7.使用第4节中描述的方法找到更多特征点，并将它们添加到。
8.如果没有特征点，则转到步骤10; 否则设置为S，然后回到步骤3。
9.重新估计F矩阵。 如果达到最大迭代次数或者重新估计的F接近前一次迭代的迭代结果，则继续步骤10; 否则返回第4步。
10.输出对应结果。
6、实验结果
本文提出的方法适用于从不同视点捕获两个图像的所有固定场景的情况，这两幅图像通过一个基本矩阵相关联。当从单一固定的角度捕捉图像时，它们通过单应性相关而不是基本矩阵相关。在这种情况下，本文描述的方法仍然可以使用。然而，用于估计基本矩阵的一组方程是未定的，其解决方案不是唯一确定的。因此，我们选择最小范数的解为基本矩阵。在我们的实验中使用三种性能指标，即正确特征点的百分比，正确特征点的总数以及特征点的空间分布。我们将我们的方法与最新开发的算法进行了比较：三角形约束测量算法（TCM）[24]，凝聚特征点聚类方法（ACC）[23]和广泛使用的距离测量比（RDM）方法[19]。
7、讨论
我们的算法以联合方式执行特征点对应和基础矩阵估计。基本矩阵估计方法中的一个常见问题是，当特征点在图像的一个部分密集并且图像的其他部分为空时，估计的基本矩阵将过度描述这一大群密集的特征点。使用这组特征点对应关系进行基础矩阵估计是危险的。我们的算法发现了高精度的大量特征，并且提倡更多重要特征点的分布尽可能地覆盖图像。这能够使我们得到一个正确的基本矩阵（见图11）。在图11中，将相同的基本矩阵估计方法（LMedS归一化8点算法[9]）和校正方法[35]应用于两组特征点。通过使用第4部分中的增长方案提倡均匀分布获得一组特征点，另一组则是在不使用它的情况下获得的。得益于均匀分布的方案，可以获得更好的修正结果。然而，这种好处并非没有代价。在不存在匹配关系的地方，均匀分布约束经常使产生错的特征点。尽管大多数这些不正确的特征点都会被ADSF滤除，但它不适用于场景变化很大的宽基线匹配。
我们通过经验设定= 0：2，gamma;= 2和tau;= 0.3，并将我们的方法与使用Middlebury数据集的其他方法进行比较[32]。图8显示了Middlebury网站数据集的参考图像。地面实况对应可以从提供的视差图获得。在比较中，使用竞争方法中的最佳参数，如[24,23,19]中所述。评估标准是根据正确对应特征点的百分比，正确对应特征点的总数以及对应特征点的空间分布决定的。对应特征点的空间分布是基于点密度的标准偏差[25]来衡量的，当结果很好的时候这个偏差很小。在我们的论文中，我们在我们的方法中采用了SIFT特征检测器和描述符。对于所有其他方法，我们采用其原始研究中描述的默认特征检测器和描述符。由于RDM和TCM也使用SIFT特征检测器和描述符，我们在RDM，TCM和我们的方法的相同特征点上运行实验。我们还利用SIFT检测器和描述符中的相同特征点进行了进一步的实验，这些特征点与ACC方法中其他三种方法所采用的特征点相同。相应的结果表示为ACC（SIFT）。在这些实验中，我们旋转每个图像对的源图像的随机角度，使实验更具有一般性。所有匹配算法的旋转角度都是相同的。幸运的是，由于所有这些算法中使用的特征都对旋转具有鲁棒性，因此旋转角度不影响
全文共7532字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[12155]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
