英语原文共 21 页，剩余内容已隐藏，支付完成后下载完整资料
MSIP：应用于图像拼接的多尺度图像预处理方法
摘要马赛克重建是特定场景中多个图像在单个帧中的拼接过程，与单独的图像相比，该帧可提供更多信息。如今，图像拼接已成为一种涉及到了摄影，虚拟环境，医学等不同领域和学科的关键工具。在这项工作中，我们提出了一种新的多尺度图像预处理方法，我们将其称为MSIP（多尺度图像预处理），这种方法基于SIFT检测到的匹配点之间的距离，并且不随比例变化而变化。其主要目的是校正图像之间的比例差异，以减少离群值和对齐误差。在真实数据库上进行的实验和统计分析通过提高镶嵌结果的质量显示了我们方法的鲁棒性。
关键字全景.马赛克.缩放.多尺度.几何解.Ransac.拼接
1介绍
图像拼接是指将同一场景的两个或多个图像合并为单个合成图片的过程。现在，许多算法都可以拍摄重叠的图像并将它们合并在一起，以创建无明显拼接痕迹的镶嵌图像。
通过几何变换和后处理算法（混合），我们可以获得高质量的结果。
在基于来自不同来摄影源的多尺度图像的马赛克重建的情况下，现有算法（基于配准）理论上可以构建全景图像。然而，通常应用于这种类型的图像的几何变形不能提供高质量的图像。
在我们的方法中，我们提出了一种新的多尺度图像预处理方法，该方法基于SIFT检测到的匹配点之间的欧几里得距离，被添加到常规方法中以提高镶嵌质量 。这样可以计算两个图像之间的差异比率，以标准化其比例。与传统方法相比，此操作可提高镶嵌效果。
本文的组织结构如下：引言之后，第2节介绍了传统的图像镶嵌模型和相关工作的介绍。第3节详细介绍了我们的多尺度图像预处理方法（MSIP）。实验结果和结论分别在第4节和第5节中给出。
2背景及相关工作
在本文中，我们所感兴趣的主要是基于配准的图像镶嵌。该技术包括匹配图像以及比较或组合它们的信息，以便使用图像之间的匹配点找到最佳的几何变换。
图1表示常规镶嵌图的示意图，该图基本上基于配准、几何变换的计算以及我们将在下面简要描述的混合三个方面。
匹配阶段的质量直接决定了匹配镶嵌重建的质量，这证明了匹配阶段的重要性。现有几种匹配方法，例如FAST ，HARRIS ，SIFT ，SURF 等。在多尺度图像的情况下，需要使用不变的检测器，例如SIFT（尺度不变特征变换）。该算法分两个阶段：识别和检测两个图像之间的相似点。首先，它对特征进行检测并计算描述符，然后进入匹配步骤，确定匹配点的集合（图5）。
几何变换要对齐两个图像，我们需要一种能够从一组控制点（如RANSAC（随机抽样共识））估计几何模型参数的方法。该算法（经过多次迭代之后）开始确定两个输入图像之间的变换H，其关系式为Eq.1。在每次迭代中，我们随机选择四对点（投影变换）来计算变换，并保持在最优化点H处，这可提供最佳结果。
pkisim;H ij pj
其中pki 为图像i的点k由pj为图像j的点k和Hij为图像i和j表示为连接起来的3times;3大小的几何变换。
图1基于配准的常规镶嵌方法的结构
剩下的步骤是在最终构图（平面，圆柱，球面等）的表面上呈现两个图像的点（如果是全景，则是几个）。这些图像通过先前由RANSAC计算的矩阵H链接（图10）。
为了获得更令人满意的结果，使用了后处理方法（图像渲染）。它可以最佳地混合像素以最大程度地减少可见的接缝、模糊和重影效果。文献中有几种技术，例如多频带混合，Alpha混合，拉普拉斯金字塔和羽毛混合。
当前，基于注册的文献中我们的可以得到一些方法。例如，在参考文献【12】中，作者提出了一种方法，该方法结合了改进的SIFT算法和Canny特征边缘检测，该方法适用于受光照，旋转和变形等情况影响的图像。在参考文献【44】中，一种称为移动直接线性变换（Moving DLT）的新估计技术能够调整或细化投影并显着减少重影，而不会影响镶嵌图像的几何实现。一种基于特征的图像配准算法，该特征支持具有有限计算能力的移动设备。该算法包括两个步骤：第一步为拒绝离群值，第二步为基于共轭梯度算法的优化方法的实现，以同时精炼两个视图和一组离群值之间的几何关系。在参考文献【46】中，一种基于CSIFT检测器（色彩尺度不变特征）的多视图镶嵌算法的表示。参考文献【35】的作者提出了一个统一的方案，该方案使用组合查找表（LUT）管理两个单独的几何变换。该系统允许在圆柱曲面屏幕上投影平面和圆柱全景。另一个参考文献【24】提出了一种新算法，该算法可执行快速的原始检测和匹配，尤其是当图像视图过于不同时。该算法结合了Affine-SIFT中模拟仿射变换的思想和FAST检测器和FREAK 。参考文献【17】中的新马赛克技术使用从相机捕获的连续航拍图像，并可以实时创建一致的大型马赛克。在参考文献【19】中，作者解决了为视频浏览而压缩的MPEG 1/2视频的马赛克构造问题。在匹配和投影阶段基于Voronoi图像的镶嵌图像的新算法取代了Ransac方法的随机选择。参考文献【3】提出了一种基于相机自校准方法的图像镶嵌方法。该方法涉及三个步骤：首先，估计所用相机的外部参数和固有参数，然后通过利用找到的外部参数和固有参数来计算几何变换。最后，将此转换应用于两个图像之一以生成最终的镶嵌图像。
在先前引用的方法中，基于注册的方法（例如Harris，Sift，surfing和Fast），这些方法的其中一些可提供高质量的镶嵌效果，并且每种方法都可以在特定情况下改善工艺。但是，在我们的情况下（多尺度图像），大多这些方法都无法实现镶嵌重建。这是由于其注册方法对规模的变化很敏感。其他方法（不变地改变比例）允许实现镶嵌重建。但是，当图像之间的比例发生重大变化时，镶嵌画质会变差，获得效果不好结果的风险会大大增加（图2）。
图2显示了使用基于SIFT检测器的常规方法的多尺度图像的镶嵌结果。镶嵌质量中等，并且具有相当多的缺陷，例如变形和伪影[43]。
图2传统方法的镶嵌结果示例
- 拟议方法
在本文中，我们提出了一种基于多尺度的图像预处理方法，我们将其称为MSIP（多尺度图像预处理）。这种方法的目标是在采集时经历了比例变化的图片（图3）。
在可能发生的变化中，我们提到了旋转、颜色强度、平移、噪声、不稳定的物体和许多其他变化。在本文中，我们对在采集时应用于图像的缩放比例变化和缩放动作的这些会降低结果质量的因素会进行着重考量。
方法原理
David Lowe在2007年提出了一种基于SIFT检测器和RANSAC方法的图像镶嵌方法来进行几何变换。与其他镶嵌技术相比，该参考方法得到了广泛使用，在最近的几篇论文中均已参考采纳。我们所做的包括添加一个针对多尺度图像的预处理阶段（图4），以纠正和消除尺度差异（如果有的话），从而提供一种更逼真的渲染效果。
图4显示了在常规方法（图3）中插入预处理阶段（MSIP）以校正图像之间的比例差异。
工具类
我们的预处理方法包括3个步骤：
·检测图像的匹配点。
图3使用放置在不同位置并覆盖重叠区域的不同区域的多个传感器进行图像采集
图4我们的镶嵌方法的结构
·匹配点之间的欧几里得距离的计算。
·通过调整图像大小来校正比例差异（如果存在）。
特征匹配
如图4所示，我们的方法在大多数步骤中都与常规方法相似，唯一的区别是添加了图像预处理步骤（标记为蓝色）。
MSIP阶段的作用是通过利用SIFT检测器（图5）进行匹配时当前检测到的控制点之间的距离来校正图像之间可能存在的比例差异。
差异率
原理是测量通过SIFT检测到的控制点矩阵之间的距离，以计算两个图像之间的缩放比例差。为了保持合理的计算时间，而不是计算每个点与其他点之间的距离，我们选择计算点P1与属于同一图像的下一个点P2（在图6中由连接每两个具有不同颜色的点的段表示）。我们将会保持SIFT点的顺序相同。
图5两个多尺度图像的匹配点
在我们采用多个控制点时。S是从n开始的点对的集合，得到：
点（P1，P2，P3 ...）的分类是从SIFT派生的。
为了计算控制点之间的距离，我们使用了欧几里得距离计算方法。
令d为两个控制点P1和P2之间的欧几里德距离（以像素为单位），由以下公式表示：
对于xp1，yp1和xp2，yp2分别表示点P1和P2的坐标。我们将对两个距离之间的比率差异进行处理。
我1
我2
图6一个点与下一个点之间的欧几里得距离，用不同的颜色表示
可以得到
a是图像1的点与图像2的点b之间计算出的距离的集合。
或
其中：
di：表示该集合中由i索引的元素。
d双：表示由i索引的集合b的元素。
pci：表示i索引的计算百分比。
利用公式6，我们可以计算两个距离di和d双之间的差异比率（百分比）。
表1显示出了两个图像的控制点（P1和P2）（集合S中的一对点）之间获得的距离（da1和db1）。相同的过程将应用于集合S的其余部分。
表1的第4列显示了基于方程式获得的百分比。图像1中P1和P2之间的距离约为图像2相同点之间距离的77％。因此，可以说是相差23％（图7）。同样，我们可以计算其他点的距离差。
计算了两个图像的所有对之间的差异比率后，我们得到了不同的值，这可以用异常值或轻微失真的存在来解释。表2总结了获得的结果以及每个值的重复次数（出现的次数）。假设我们有几个表示两个图像之间比率的百分比值，那么这里的问题是：如何在找到的列表中选择两个图像之间的比率？哪一个更接近现实？我们的选择之一就是取平均值。但是，异常值的潜在存在可能会影响计算并提供不代表真实场景的结果。因此，我们选择了出现次数较高的报告（百分比）。因此，在47个总数中（见表2中的“发生次数”列），图像1和图像2之间的差异可以由77％的值表示。
3.2.3图像大小调整
此阶段涉及根据第3.2.2节中计算的比率，通过调整图像2相对于图像1的大小（反之亦然）来校正比例。
表1每个图像的控制点P1和P2之间获得的距离（图6）
|
对点 |
影像1中的距离（da1） |
图像2中的距离（db1） |
百分 ％ |
|
(P1, P2) |
97,23 |
125,63 |
77% |
77%
Im1 Im2
比例差异23%
图7 im1和im2之间的比例差异
当我们需要增加或减少像素总数时，必须进行图像缩放。为了减少处理时间并避免在调整图像大小时出现像素化，我们最好减小属于最高比例的图像的大小。为此，我们使用了最近邻插值方法，就执行时间而言，这是最有效的方法（图8）。原理是基于相邻像素的值获得更好的像素颜色和强度近似值。另外，所得图像中像素的颜色是原始图像中最接近的对应像素的颜色。例如，如果将图像缩小2倍，则结果图像中仅保留2times;2的像素。
在图9a中，我们获得了属于同一等级Scale的新处理图像。图9b展示出了预处理的两个图像之间的匹配。在计算图像1的点与图像2的结果之间的距离之后，我们得到几乎相同的值。
在此阶段，我们的图像已处理完毕，可用于镶嵌过程。
图10显示了应用我们的MSIP方法后获得的结果。下一节将与传统方法的结果进行比较。
4实验结果
在本节中，我们将演示预处理方法的性能，该方法专注于一个主要目标，该目标是基于多尺度图像提高镶嵌质量。将这些数据与Lowe 和Zaragoza（无MSIP）方法获得的结果
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[237757]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
