英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料
基于互信息的运动估计和自适应多尺度阈值转换法
摘要：本论文提出了一种新的计算运动估计匹配度的方法。此方法将源图像的信息分成多个规模和方向的子频带，通过自适应阈值算法减少二进制表示的子频带值，并使用互信息在每个图像上模拟对应的方形窗口的相似性。移动窗口策略被应用于恢复正在探索性能的密集运动估计领域。拟定的匹配度量是在空间、规模和方向上的互信息总和。这有助于在源图像上开发信息的多样性。在几个相关的方法进行实验比较，揭示出匹配度量能够更好地利用信息的多样性，产生更为精确的运动领域。
索引词——互信息，图像阈值，定向角，运动估计
I.前言
发现一对图像间逐点的对应点在许多视觉处理算法中非常重要的一步。引人注目的应用包括运动估计的视频压缩及优化，立体匹配，目标跟踪和预测光电流。尽管许多特定方法已经在一个或多个应用程序的上下文中被提出，大多数方法需要一个匹配的指标来衡量两个像素或两个像素块有多么相似，因此他们属于场景内同一曲面点是很有可能性的。本文的目的是提出和分析一系列在一个多分辨率和全方位匹配指标一般的运动估计方案。
本文中提出的方法的核心功能是源图像首先被分解成空间频域的子频带，每一个子频带中在相应窗口上评估匹配分数，然后这些分数混合成一个最终的分数给每个考虑过的运动估计。相比之下，大多数运动估计算法要么直接在图像域操作要么只用多尺度角去指导探索过程，使用粗规模的运动搜索来初始化搜索一个好的规模。我们方法的目的是允许每个被不同处理过的子频带的信息被找到。我们已经表明传统的匹配分数如MSE无法利用好更高频内容当面对除了纯粹的平移运动的任何情况；然而，这个问题可以解决非线性后“传播”的信息转换的子频带样本（如，绝对值）。我们还表明,它有助于正常化的对比在匹配窗口内任何被给的子频带。这两个信息传播和对比正常化对象可以实现一种自适应阈值过程。
在本文中,我们扩展这些早在两个工作重要的方法。首先,我们展示如何相互信息可能是用作匹配分数在每个子带和保险丝结果在部分波段。第二,我们展示的好处进一步将源内容分解为取向带宽，融合之前各自匹配分数。提出了自适应阈值方法有助于提高方向定义良好的带宽方式,同时定义“传播”可被预测的程度,至少对于理想的边缘和在空间中取向。这些控制着非平移运动的匹配过程的程度。自适应阈值过程减少了部分波段样本值小有限字母表,高度适合匹配基于互信息度量。我们提出一个特定的指标的形式和证明它能够比其他匹配分数。
我们评估拟定的稠密匹配度量真正完整的搜索运动估计设置,与地面真实运动一个光流数据集比较结果。实际上，提出的度量常用于给每个像素位置分配一个匹配分数（或成本）在一个定义搜索平台的每个运动待选项。基于过滤器的聚合方法使之高效。类似的基于过滤器的运动评估方案中存在有文献,他们有时被称为“成本体积的方法”，然而，这些方案工作于图像领域。聚合窗口进一步调整在形状或指定一个图像相关的权重函数。然而,在本文,我们采用简单的广场聚合窗口和集中于生成和融合匹配的分数在分辨率和取向子频带。互信息被用作匹配度量对于像素强度值在图像域。这是广泛的在医学图像配准中传播。它是也用于跟踪立体匹配和经典光学流使用显式的平滑方法约束，共同的确切形式信息往往是近似。
基于有限字母表示的运动匹配方法也可以被发现。这包括早期的例子在基于过滤器立体通信工作运用等级统计调查转换，定序测量以及最近的方法。用显式的方法平滑约束,统计调查转换已经表明产生最好的结果的评估本地数据成本方面经典光学流方法。类似提出的自适应阈值变换已经被应用于视频优化和不相交的基于块的视频压缩。所有的这些方法执行匹配在图像域,而目前论文涉及匹配的子频带内多分辨率转换和融合的匹配分数。
关于运动估计的多分辨率和方向敏感的转换也已经被提出了。研究的转变多尺度变换的不变性质,领先后续给运动估计使用这些转换的工作。相应例子有采用小波特征相关方法的图像配准，小波系数互信息的远程遥感以及复值小波变换的运动估计。在大多数经典光流法中, 适用于这些方案的分层表示都是用来去指导粗到细的搜索策略。在本文中,我们提出产生不同子频带去代替融合匹配分数。我们最近的文章代表了一个相当大的延伸工作,介绍了一种自适应的阈值方向上的运动估计。在参考文献[6],[7],[26]的贡献下，匹配的分数计算直接聚合位翻转(或符号翻转)有限的字母代表了一种自适应的阈值变换。而各种策略是在这些开发的早期作品来控制匹配分数的累积在分辨率和取向,这些在很大程度上是特别的不总是健壮。互信息的方法本文显示持续生产优越结果。我们还提出一系列的近似完整的互信息公式,最终减少基于一个简单的点指标,说明这些近似影响性能。
我们开始这篇论文总结了运动估计框架在第二部分中,介绍了采用图像第三节中分解和自适应阈值扩张在第四、五和六部分。第七部分的发展提出了互信息匹配度规, 第八部分介绍了融合的过程。第九部分提出简化的指标。第十部分进行了实验结果分析,在此之后第十一部分衡量了提出的方法的计算复杂度。
II.密集运动估计
本文使用一个基于过滤器的全搜索运动估计方案去确保密集的运动领域。我们简要描述该方案在图像域使用均方误差作为一个例子指标。找到两帧图像之间的对应区域f[n]和g[n],我们从概念上转移整个帧g[n]来获得gv[n]；这里n表示一个像素的整数值坐标，而v则定义为搜索范围内一个特定的运动的待选项且不需要是整数值。搜索空间是由一个搜索指定步骤和范围。对于每一个运动待选项v和n,位置匹配的指标(或成本函数)定义为
（1）
其中Wn是一个方形匹配窗口,n为中心。很容易看出,这可以实现移动平均线过滤器R一半宽度,窗口大小Wn是（2R 1）times;(2R 1)，也就是说
（2）
另外,可以在更大的窗口通过放大两倍来获得一个三角线而不是矩形的权重；即。请注意是一个四维的数据集,有一个单独的匹配分数“形象”为每一个二维的v 搜索范围。密度估计运动区域可由以下形成
（3）
我们提醒读者,本文的目的是提出另一种匹配度量以改善的准确性。
III.图像分解
替代在图像域的匹配,我们考虑两种方法分解图像以多元化在图像的处理信息。第一个使用拉普拉斯算子的金字塔,这是分析在运动估计。第二种分解工作是一个可操纵的金字塔,在参考文献[26]提出。我们给一个总结的分解,然后提供的概述提出匹配指标,简要介绍一些在以后的章节中详细定义的符号。
A.拉普拉斯变换
根据图1,我们的第一个考虑分解的多分辨率框架每一帧f和g频段{fk}和{gk},其中k是分辨率水平指数，K是分辨率水平的总数, G是一个高斯分布过滤器和首先是2倍插入后得到。正如参考文献[7]中所释，的选择提供了一个良好的带宽和之间的权衡混叠,考虑到了整个级联滤波操作。
图1 拉普拉斯结构
B.方向性变换
第二多分辨率框架分解帧定向详细的带宽和,如图2所示,k是决议指数和水平,d是指数的方向。D是方向的总数；和是高斯函数的偏导数过滤器。
图2 方向结构
C.多分辨率匹配度量的概述
我们给的概述提出匹配度量,关注于更一般情况下定向结构。下面的步骤描述了在接下来的几个细节部分。
- 所有和转换到二进制表示和，即每个像素使用2比特表示。
- 对于每个运动候选项v和每个,和之间相互匹配,聚集在方形窗口和通过互信息进一步建模。这为单一定向生成匹配分数带宽，。
- 从所有方向的分辨率水平为k的带宽中进行匹配的分数里来融合获得。
- 从所有方案里匹配的分数进行融合去获得。
VIII 融合匹配分数
在这一点上我们要提醒读者的是,大多数运动评估计划只使用多个决议来驱动粗到细评估时间表,。在这工作,然而,我们融合所有决议和提供的证据通过添加他们的互信息方向的带宽和分数。具体来说,互信息的融合首先根据方向
（4）
然后根据分辨率
（5）
式中，分数从低分辨率必须插入吗之前添加到高分辨率。一个翻转的大约分数可以以同样的方式融合。对于我们方法，拉普拉斯算子的金字塔方式,只有融合在方案中才有意义。
我们建议和实验研究两部分不同的分配模式匹配窗口大小每个分辨率级别,在下面讨论的程式。
- 持续有效的窗口大小
在第一个计划,我们安排匹配窗口所有决议代表同一地区在原来的水平图像域。注意的是,匹配窗口大小（2R 1）times;(2R 1),这种方法意味着参数R 是连续的分辨率水平之间减半。我们注意到均方误差,测量在原始的图像域,可以被理解为一个复合的方先后从低分辨率匹配错误水平的一个理想的拉普拉斯算子的结构,当地的匹配窗口在每个决议跟随这个常数有效窗口大小的原则。因此,第一个计划允许最直接的比较与图像域均方误差匹配度量。
B.常数本地窗口大小
在第二个方案,我们安排窗口大小参数R是相同的所有决议。这意味着原始图像区域的匹配窗口增长4倍在每个先后降低分辨率的水平。这表明,分数从低分辨率的水平这应该相应地降低权重分配方案,例如：
（6）
相同的扩展应用于拉普拉斯算子金字塔的情况中, 得到
（7）
常数本地窗口大小的方法有很多吸引人的属性。首先,它可以确保匹配窗口在所有分辨率层次包含足够了尤其是样本产生有意义的结果,这是重要的提议MI匹配分数,这需要窗户上的概率估计。不变的地方窗口大小有效地分配一个更大的孔径越低决议,从而部分地解决运动估计中著名的光圈问题,在没有分配这些解决方案不当的意义。最后,我们注意到非平移运动自适应阈值匹配的过程中的敏感度直接取决于当地的窗口大小,仔细分析当地的敏感性旋转，如参考文献[7]中所提供的。
IX 简化和变化
在本节中,我们描述一些变体在赞成造成运动匹配过程。考虑的原因之一这些变化,他们可以用来降低及其心理状态的复杂性;另一个是提供更多的控制在窗口塑造。这些变化的主题实验比较部分X,这将有助于证明该方法的价值。也许一个更使用两个移动窗口是重要原因是内部的窗口用于为MI生成统计数据分数可以更小。较小的数量可以促进有效地实现我们的统计估计和扩展通过查找表导出量。
尽管MI和计数之间的关系单调在一个窗口的一个部分波段,这两个概念当他们受到分数表现出不同的特征第二个移动平均线窗口,如上所述, 当它们融合跨方向或决议。而不是从很重要在每个计算MI定向带宽,计数可以添加在方向和用于生成一个MI得分为整个决议水平,在每个窗口。这种方式,只需要计算每次代替K乘以每像素分辨率 /每像素分辨率。
X 实验结果
在本节中,我们将展示使用MI的优势只是积累翻转在分辨率和融合取向部分波段,以及使用的优势定向金字塔在无方向性的拉普拉斯算子的金字塔。我们现在的运动估计精度的方法在表我在明德光学流数据集。每个运动估计精度是测量领域平均绝对差估计的运动向量组件和地面实况向量组件; 这个指标是平均L1范数的一半向量误差,由于我们平均而不是加法每个运动向量的两个分量的贡献。
一般来说,我们期望运动误差最小的时候RT是足够大的运动是可以观察到的大部分在测试框架窗口位置。更大的RT值可能会产生不准确的结果,因为更大的匹配窗口不太可能代表了运动的窗口中心。所示结果呈现在图7和10中,这个敏感性大于最优窗很小比较性能损失通过选择RT太小了。此外,最佳RT值很形象相关的。既然我们不能选择那最好的RT为所有视频帧序列,我们的建议的大RT;即使对于大窗户,该方法往往提供定义良好的运动边界,见图12和11,其中RT =32。
我们的结果表明,使用第二个移动平均滤波器提供了一个小而稳定的优势一个移动平均滤波器。图7显示了,但是区域2 运动和区域3测试用例,最小错误了规定范围的匹配窗口大小RT改善 0.01两个移动平均线,而不是一个。这些结果显示使用匹配分数从单一决议在拉普拉斯算子的金字塔,所以没有受到怎样的影响匹配分数从不同的子频带融合。为区域2两个移动平均线的使用提供了一个更大的改进,而区域3似乎有所伤害。总的来说,这两个似乎移动平均线方案更为可取,指出移动平均滤波器需要非常小计算。
我们的结果表明,使用有明显的优势当地的匹配窗口大小不变, 这图9所示通过比较对A、C和 B、D。鉴于这些观察,不断的地方窗口大小计划用于大部分测试配置本文考虑。我们的结果表明,使用定向金字塔提供无方向性的相当大的改进拉普拉斯算子的金字塔。这不是真正的在所有情况下,但观察到在区域2和区域3,哪里有大的地区单向的强的图像几何流。在这些地区,运动并不是完全可观测的拉普拉斯结构应用自适应阈值。在图7中,可以看到这些影响的运动错误使用拉普拉斯算子产生的结构没有达到最大最小即使窗口测试（RT=128）。
我们分析提出的计算复杂度算法首先引入一个重要的简化运动估计方案涉及多尺度匹配指标。本文所有实验中使用的数据集, 这二次抽样粗分辨率阶段在搜索位置产生几乎相同的结果比较理想实现。此外,它是我们可以安全地发现在空间和使用近邻插值搜索运动估计的准确性,位置没有太大损失而高阶篡改。事
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[141834]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
