英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料
基于ORB描述符的图像拼接及改进的融合算法
方田 平石
信息工程学院
中国传媒大学
中国 北京
摘要
本文提出了一种基于ORB（面向FAST和旋转Brief）描述符的图像拼接技术和改进的融合算法。图像重叠区域的特征首先由ORB描述符描述。这个二进制描述符在处理速度上优于SIFT和SURF。然后应用RANSAC算法拒绝不匹配区域。一旦找到最好的投影变换矩阵，就会进行亮度均衡，改进加权函数用于拼接图像并减少可见伪影。实验结果表明这种方法在计算图像拼接时是有效的，并且在本文设计的融合过程中，边缘伪影可以显著减少甚至完全消除。
关键词 ：图像拼接; ORB描述符;RANSAC; 图片融合
绪论
远程监控和视频通话的发展需要更高分辨率和更大视场的相机。鱼眼镜头等特殊设备能提供宽视角但会产生图像失真，其校正复杂度高。实现更高分辨率的另一种方法是图像拼接技术，其将图像与重叠区域配准并将它们组合成整个场景的大型拼接图像。 通过这种技术，拼接在理论上可以实现无限的分辨率和宽度。
作为图像拼接的核心问题，图像配准决定了拼接结果的准确性。现有的配准方法有基于灰度，小波或频域以及图像特征[1]。特征检测和提取由于其简单性和鲁棒性而享有很高的普及性。典型的图像特征和特征描述符包括灰度边缘特征[2]，Harris角点[3]，SIFT特征描述符[4]和具有颜色不变量的SURF特征描述符[5]。SIFT算法检测并描述图像的局部特征，并且具有尺度，旋转和缩放不变性。然而，SIFT算法由于其复杂性在实时应用中表现不佳[6]。 SURF比SIFT快几倍，并且对图像变换具有很强的鲁棒性，但由于其浮点特征向量，它仍然很耗时[7]。
ORB（定向FAST和旋转Brief）是最近提出的一种有效的二进制关键点检测子和描述符[8]。它继承了BRIEF描述符的速度和低成本[9]，并改善其旋转不变性。ORB的速度优于SIFT和SURF，可以应用于实时应用。
在本文中，我们提出了一种使用ORB描述符和改进的融合算法的图像拼接方法。在第二节中，描述了图像拼接的一般过程和所提出方法的设计。第三节详细介绍了我们的方法中应用的ORB和RANSAC算法。第四节提出融合方法的原理及其对应方法的比较。第五节显示实验结果并验证本文的方法。第六节给出结论和讨论。
图像拼接的步骤
无论具体方法如何，图像拼接的一般过程包括以下步骤[10]：
bull;图像采集：可以通过平移或倾斜安装在三脚架上的相机来捕获拼接的原始图像。更灵活的方式是手持相机并捕捉具有比例，范围和视点差异的图像。本文用这种方法来获取用于测试算法有效性的图像。
bull;图像配准：将具有重叠区域的图像转换为相同的坐标系，以便在此步骤中进行粘贴和融合。基于特征的配准建立了重叠区域内关键点的点对点对应关系。通过这种对应，可以进行几何变换计算以将目标图像映射到参考图像。请注意，应谨慎选择重叠区域的大小：太小的区域可能导致关键点对短缺的注册不准确，而太大的区域是多余的。本文的算法设置关键点对的数量的阈值，以确定参考图像和目标图像之间的重叠区域的大小是否适合于拼接。
bull;图像变换：一旦获得表示两个图像内的每个对应点对之间的映射关系的投影变换矩阵，目标图像将被该矩阵扭曲到参考坐标以进行进一步处理。
bull;图像融合：如果简单粘贴在一起，参考图像和扭曲目标图像之间亮度和视点的差异可能会导致明显的伪影。因此，该步骤的目的是消除人造边缘并无缝地融合图像。
ORB匹配和RANSAC不匹配拒绝
A. ORB特征描述符
ORB是一种基于简单（二进制鲁棒独立基本特征）的旋转不变，抗噪声和非常快速的二进制描述符。 通过简单的强度差异测试生成，Brief评估描述符与汉明距离之间的相似性，因此构建和匹配非常快。尽管它具有高度辨别性和惊人的效率，但它缺乏足够的尺度和旋转不变性[9]。ORB通过将定向组件计算为FAST（来自加速段测试的特征）并将其添加到BRIEF特征来增强Brief的性能。
FAST是寻找与视觉特征相匹配的关键点的理想选择，但它不会产生一定程度的焦躁感和缺乏多尺度特征[11]。为了填补这些空白，ORB首先使用Harris角点测量来命令FAST关键点，然后利用图像的比例金字塔，每个级别产生某些FAST特征。 FAST特征的方向由强度质心产生，其假定某个角的强度与其中心之间存在偏移。补丁的方向是：
其中m pq代表补丁的时刻，定义如下：
ORB然后使用补丁的方向来引导原始简述描述符。 对于平滑的补丁P，二进制补丁上的测试可以定义为：
其中p（x）是点（x，y）处的贴片P的强度。有这样的对此补丁进行二进制测试，该功能可以定义为向量：
Brief的性能取决于测试的分布。实验结果表明高斯分布在补丁的中心是最好的。 而且，n = 256证明是适当数量的测试。按照关键的方向引导简要点，ORB将（x i，y i）的n个二进制测试的任何特征集定义为：
然后引导的简要成为
ORB还开发了一种学习方法，用于选择具有低相关性和改进方差的二元测试。 这种方法可以看作是对一组二元测试的贪婪搜索，它满足具有最高方差和最低相关性的要求。测试的方差通过它们与平均值0.5的距离来评估，其中最好的一个最接近它。简述描述符的改进版本优先于多样性的引导简介。
当在相同图像上检测到大致相同数量的特征时，ORB可能比SURF快一个数量级，比SIFT快两个数量级[8]。 我们将ORB和SURF的性能与640进行了比较？ 手持相机拍摄的480张图像。 表I示出了使用10个图像对的ORB和SURF进行特征检测所消耗的时间。
请注意，对比度测试是使用相同的个人计算机进行的，其CPU，操作系统和安装的RAM在所有测试期间保持不变。从表I中可以明显看出，ORB的检测速度非常快，这证实了[8]得出的结论。
对象所在的不同静态3D场景大约在同一平面上可以用2D点表示在图像平面中并由2D平面投影描述使用以下矩阵乘法进行变换[12]：
其中（x 1，y 1）和（x 2，y 2）分别表示参考图像和目标图像中的2D点。投影变换具有8个自由度，例如h 1，h 2，...，h 8。 h 1，h 2，h 4和h 5表示旋转参数和比例参数; h 3和h 6分别表示水平位移和垂直位移; h 7和h 8是水平和垂直变形。
我们设计的系统将第一个输入图像作为参考，右侧是重叠区域，第二个输入作为目标，左侧重叠区域。计算投影变换H以将第二图像映射到第一图像。当输入的图像被反转时，H的逆矩阵应该用于映射。我们通过比较图像左半部分和右半部分的关键点数量来控制输入图像的顺序。
C. RANSAC不匹配拒绝
ORB检测到的关键点对集合不可避免地包含这些良好匹配之间的不匹配。出于这个原因，我们应用RANSAC来优化匹配对的原始集合并拒绝不匹配[13]。
RANSAC的基本假设是一组包含适合某个模型（内点）的数据和那些不符合（异常值）的数据。 RANSAC通过估计包含最大数量的良好匹配的模型参数来细化数据集。在图像匹配的情况下，该模型变为具有8个自由度的投影变换矩阵H（例如，在（7）中的h 1，h 2，...，h 8）。当执行RANSAC时，
bull;随机选择重叠区域内的四个点对以计算初始矩阵H 0;
bull;当计算（x 2#39;，y 2#39;）和（x 2，y 2）之间的误差落在一定范围内时，假设点对（x 1，y 1）和（x 2，y 2）作为内点，并且计算该模型H i下的点对的总数并用M i表示;
bull;重复上述两个步骤，直到某些H k产生最大的M k，因此，该H k被认为是最好的变换矩阵，并且经受该模型的那些对是良好的匹配。
在RANSAC细化之前和之后的关键点对的比较分别在图2（a）和图2（b）中给出。 为清楚起见，ORB检测到的匹配点用彩色线排列。图2（a）有足够的关键点对用于镶嵌，但包含一些不匹配的关键点对。不匹配对的周围区域具有相似的形状或角落，使得ORB难以区分并导致不匹配。尽管如此，凭借其贪婪的搜索算法，RANSAC能够分辨真实匹配对和假匹配对之间的差异，消除不正确的点并保留足够准确的点，如图2（b）所示。RANSAC可以减少镶嵌所消耗的时间，因为拒绝不匹配所节省的时间超过了进行RANSAC所需的时间。
图2. RANSAC之前和之后的关键点对
表I显示了RANSAC细化之前和之后的对数。统计数据还证明了其拒绝不匹配和减少等待进一步处理的对的数量的有效性。
改进的图像融合算法
目前的图像融合技术包括加权均值法[14] [15]，多分辨率样条法[16]和小波变换法[17] [18] [19]。 加权平均方法的主要思想是重叠区域的不同部分的像素对最终复合材料的贡献不同。 它们易于实现且性能良好。 考虑复合材料重叠区域中的像素I（x，y），可以将其定义为
I Ref（x，y）和I Tgt（x，y）是参考图像中的像素以及重叠区域的相同位置处的目标图像。 加权函数beta;（x，y）经受像素的位置，并且当（x，y）从重叠区域的左边缘遥控并且更接近右边缘时，加权函数beta;（x，y）将从1变为0。
在加权平均方法的所有方差中，交叉衰落函数是一种常用的方法[20]。 点（x，y）的加权因子beta;（x，y）定义为：
x min和x max分别表示重叠区域中某一行的左右边缘。 图3（a）示出了合成图像中beta;（x，y）的分布。
尽管其性能相对令人满意，但线性交叉淡入淡出功能会在重叠区域的边缘产生突然变化并导致模糊。 因此，在仔细检查拼接时仍然存在人工接缝（参见图4（b））。在本文中，我们采用高斯函数的变量作为加权函数，并提出了一种消除伪像的改进算法。
A.亮度均衡
图像之间的亮度不一致和每个图像边缘的颜色失真导致拼接图像的不自然的颜色转变（参见图4（a））。 为了解决这个问题，在提出的算法中涉及亮度均衡，其步骤如下：
bull;将参考图像和目标图像从RGB色彩空间转换为HSV色彩空间。
bull;计算重叠区域的特定部分内的每个像素对p i的V iRef / V iTgt。 在本文中，我们选择接近接缝的重叠区域的20％作为感兴趣的部分;
bull;使用上一步计算的比率平均值调整目标中每个像素的V.
在这样的处理步骤之后，参考图像和目标之间的亮度差异可以显着减弱，与没有均衡的图像对相比产生更好的拼接结果。
B.基于高斯模型的加权函数高斯函数是非线性的，并且在0和1之间平滑地范围。此外，其收敛速度可以针对各种目的进行调整。本文提出的算法采用高斯模型的变量，其值在x min处为1，在x max处为0。 高斯加权函数定义如下：
我们使用的高斯模型的变体仅占标准高斯形式的一半; 除了这样的修改，我们修改了它的系数，使其收敛于x max并在x min达到1。此加权函数可保持原始高斯函数的平滑度，并可避免模糊。
图3.beta;（x，y）的分布
线性交叉渐变方法（a）和高斯交叉渐变方法（b）
图4（b）和图4（c）分别示出了在进行亮度均衡和高斯交叉淡化方法之后使用线性加权函数和合成图像的融合结果。当简单地将目标图像附加到参考时，结果图像包含难以忍受的缝合缝，如图4（a）中的黄色圆圈所强调的。使用线性加权函数，缝隙变得比原始图案略微模糊但仍然 可感知的，如图4（b）所示。在亮度均衡之后，接缝的两侧之间的亮度差异被很大程度地抑制并且伪影也被削弱。 采用本文提出的融合方法，去除了缝合缝
总的来说，结果图像的颜色自然地从参考目标传递到目标，如图4（c）中圈出的那样。在图4中显而易见的是，与线性交叉渐变方法相比，我们的方法可以有效地减少伪像。
实验结果
通过640的图像对评估该系统的性能。480具有高度辨别力并且由手持相机捕获。 此外，图像具有各种格式，如bmp，jpeg和png。 用于测试的计算机配备了Intel（R）Core（TM）i7-2600 CPU，RAM为4GB。 该系统使用VS2010以C 语言编程。 图5（a）示出了在系统中输入的一对参考图像和目标图像。 拼接结果如图5（b）所示。
图5（a）中的图像共享其原始尺寸的53％，目标图像旋转约13.8°。 通过上述镶嵌步骤处理，图5（b）中的伪像被大大消除，并且令人满意的结果证明了所提出的融合方法的有效性。
图4.亮度均衡前的复合（a），
融合线性交叉淡化（b）和高斯交叉淡化方法的结果（c）
表I中给出了来自测试装置的10个图像对的特征。实验的主要问题包括该方法对于不同重叠尺寸的可用性，对旋转的鲁棒性以及与SURF相比的检测速度。 所有对比测试均使用相同的个人计算机进行，其CPU，操作系统和安装的RAM在测试期间保持不变。
如表I所示，所提出的系统可以处理具有有限重叠区域的图像（图像对No.10仅占原始尺寸的25.6％）和大旋转角度（因为较大的角度可能导致视觉不适，旋转角度为 我们的测试中的图
全文共9155字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[110]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
