英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
频率调谐显著性区域检测
Radhakrishna Achanta，Sheila Hemami，Francisco Estrada and SabineSuuml;sstrunk
计算机与通信科学学院（IC）
法国洛桑联邦理工学院（EPFL），CH-1015，瑞士.
[radhakrishna.achanta,francisco.estrada,sabine.susstrunk]@epfl.ch
电气与计算机工程学院
康奈尔大学，伊萨卡，NY14853，美国.
hemami@ece.cornell.edu
摘要
对视觉上显著的图像区域的检测对于诸如对象分割，自适应压缩和对象识别的应用是有用的。在本文中,我们介绍一种突出区域检测方法，输出具有定义明确的边界的全分辨率显著图。与其他现有技术相比，通过保留来自原始图像的实质更多的频率内容来保留这些边界。我们的方法利用颜色和亮度的特征，实施简单，计算效率高。 我们将我们的算法与五个最先进的显著区域检测方法进行比较，其中包括频域分析，基础真实和显著对象分割应用。我们的方法通过同时实现更高的精度和更好的召回性能，胜过了地面实况评估和分段任务中的五种算法。
1.简介
视觉显著性是使对象，人物或像素相对于其邻居脱颖而出的感知质量，从而引起我们的注意。 视觉关注结果从视网膜输入的快速，预先注意，自下而上的视觉显著性，以及依赖于任务的较慢，自上而下的记忆和基于意志的处理[24]。
本文的重点是图像中视觉显著区域的自动检测，这在诸如自适应内容传递[22]，自适应感兴趣区域图像压缩[4]，图像分割[18,9]等应用中非常有用。对象识别[26]和内容感知图像调整大小[2]。 我们的算法找到低级别，预先关注，自下而上的显著性。 它受中心对比的生物概念的启发，但不是基于任何生物模型。
图1.原始图像及其使用我们的算法处理后的显著图
目前的显著性检测方法会产生分辨率低，边界定义不准确或计算成本高的区域。此外，一些方法在对象边缘产生更高的显著性值，而不是产生统一覆盖整个对象的地图，这是由于未能利用原始图像的所有空间频率内容而产生的。我们分析了原始图像中由五种最先进的技术保留的空间频率，并从视觉上说明这些技术主要使用极低频率的内容在图像中。我们引入了一种频率调谐方法来估计使用颜色和亮度特征的中心 - 环绕对比度，该对比度比现有技术提供了三个优点方法：统一突出明确边界，全分辨率和计算效率的显著区域。生成的显著图可以在许多应用中更有效地使用，并且在这里我们给出了对象分割的结果。我们使用1000张图像的基本事实，将显著图的准确性与五种最先进的方法进行客观比较。我们的方法在精确度和召回率方面优于所有这些方法。
2.确定显著性的一般方法
Tsotsos等[27]和Olshausen等[25]在他们关于视觉注意力的工作中，以及Itti等人[16]在快速场景分析方面的工作中使用了术语显著性。 显著性也被称为视觉注意力[27,22]，不可预测性，稀缺性或意外[17,14]。 显著性估计方法大致可以分为基于生物学，纯粹计算或组合。 通常，所有方法都采用低级方法，通过使用强度，颜色和方向的一个或多个特征来确定图像区域相对于其周围的对比度。
Itti等[16]将他们的方法建立在由Koch和Ullman [19]提出的生物学上合理的架构上。 他们使用高斯差分（DoG）方法确定中心环绕对比度。 Frintrop等[7]提出了一种受Itti方法启发的方法，但他们使用方形滤波器计算中心 - 环绕差异，并使用积分图像加速计算。
其他方法纯粹是计算[22,13,12,1]，并不基于生物视觉原理。 马和张[22]和Achanta等。 [1]使用中心 - 环绕特征距离估计显著性。 胡等人。 [13]通过应用启发式措施对通过特征地图的直方图阈值获得的初始显著性度量来估计显著性。 Gao和Vasconcelos [8]最大化图像中心和周围区域的特征分布之间的相互信息，而Hou和Zhang [12]依赖于频域处理。
第三类方法是那些融合了部分基于生物模型和部分基于计算模型的思想的方法。 例如，Harel等人[10]使用Itti的方法创建特征地图，但使用基于图的方法执行其正常化。 其他方法使用计算方法，如信息的最大化[3]，它代表了显著性检测的生物学上可信的模型。
一些算法检测多个尺度上的显著性[16,1]，而另一些算法在单一尺度上运行[22,13]。 此外，单独创建各个特征图，然后将其组合以获得最终的显著图[15,22,13,7]，或者直接获得特征组合显著图[22,1]。
2.1 显著性图的局限性
大多数方法生成的显著图具有较低的分辨率[16,22,10,7,12]。 Itti方法生成的显著图仅为原始图像大小的1/256像素，而Hou和Zhang [12]输出大小为64times;64像素的任何输入图像大小的地图。 Achanta等人[1]提出的算法是一个例外，该算法输出与输入图像大小相同的显著图。 这是通过改变滤镜尺寸来实现的，而不是原始图像尺寸的变化。
根据显著区域探测的不同，一些地图还有不明确的物体边界[16,10,7]，限制了它们在某些应用中的有用性。 这是由输入图像严重缩小造成的，这减少了在创建显著图时考虑的原始图像中的空间频率范围。 其他方法突出了显著物体边界，但未能统一映射整个显著区域[22,12]，或者更好地突出显示比较大显著区域更小的显著区域[1]。 这些缺点是由于在计算最终显著图以及特定的算法属性时从原始图像中保留的空间频率范围有限造成的。
3.显著性检测的频域分析
我们研究了从频域角度创建五种最先进方法的显著图所使用的信息内容。 五个显著性检测分别是Itti等[16]，Ma和Zhang [22]，Harel等[10]，Hou和Zhang [12]以及Achanta等[1]，以下简称IT，MZ，GB ，SR和AC。 我们将我们提出的方法称为IG。 这些算法的选择是出于以下原因：文献中引用（IT的经典方法被广泛引用），新近性（GB，SR和AC是近期的）和多样性（IT是生物学动机的，MZ纯粹是计算 ，GB是混合方法，SR估计频域中的显著性，并且AC输出全分辨率图）。
3.1 显著性图的空间频率内容
为了分析五种显著性算法的特性，我们检查原始图像中的空间频率内容，这是在计算最终显著性图时保留的。它将在第二节中显示。 4.3我们提出的算法保留的空间频率范围比用于比较的算法更合适。 为了简单起见，以下分析在一个维度中给出，并且在必要时澄清两个维度的扩展。
在方法IT中，9级的高斯金字塔（等级0是原始图像）是在每个维度上用连续的高斯模糊和下采样2构建的。在亮度图像的情况下，这导致从输入图像保留的空间频率的连续减少。每个平滑操作大约将图像的归一化频谱减半。在8次这样的平滑操作结束时，从等级8的原始图像的频谱保留的频率范围在[0，pi;/ 256]内。该技术计算来自该金字塔的高斯平滑图像的差异，将其大小调整为level4的大小，这导致使用来自范围[pi;/ 256，pi;/ 16]的原始图像的频率内容。在这个频率范围内，DC（平均）分量与大约（99％
的二维图像的高频率。因此，从原始图像保留的净信息包含非常少的细节，并且表示原始图像的非常模糊的版本（参见图2（b）的带通滤波图像）。
在方法MZ中，通过平均像素块来创建低分辨率图像，然后对经滤波的图像进行下采样，使得每个块由具有其平均值的单个像素表示。 平均操作执行低通滤波。 尽管作者未提供此操作的块大小，但我们获得了块大小为10times;10像素的良好效果，因此从原始图像保留的频率在[0，pi;/ 10]范围内。
在方法GB中，创建特征映射的初始步骤与IT类似，不同之处在于使用较少的金字塔级别来查找中心环绕差异。 保留的空间频率在[pi;/ 128，pi;/ 8]的范围内。 大约98％（的二维图像被丢弃。 如图2（d）所示，与2（b）相比，高频率含量略高。
在方法SR中，基于预先关注视觉的空间分辨率非常有限的论点，输入图像被调整为64times;64像素（通过低通滤波和下采样）。 所调整大小的图像的最终频率内容因此根据图像的原始大小而变化。 例如，对于尺寸为320times;320像素（这是我们测试数据库图像的近似平均尺寸）的输入图像，保留频率被限制在[0，pi;/ 5]范围内。 如图2（e）所示，平滑了较高的频率。
在方法AC中，使用平均差分滤波器来估计中心环绕对比度。 保留的最低频率取决于最大环绕滤波器的大小（它是图像较小尺寸的一半），最高频率取决于最小中心滤波器（它是一个像素）的大小。 因此，方法AC有效地保留了在DC处具有陷波的整个频率范围（0，pi;），来自原始图像的所有高频保留在显著图中，但不是所有的低频（参见图2（f））。
表1.一维频率范围，显著图分辨率和计算效率的比较。 S是以像素为单位的输入图像大小。 尽管除GB之外的所有方法的复杂度与N成正比，但这些方法中每像素的操作变化（k MZ lt;k SR lt;k IG lt;k AC lt;k IT lt;k GB）。 GB的整体复杂度为O（k GB N 4 K），取决于迭代次数K.
图2.使用表3.1中给出的截止频率的带通滤波器滤波的原始图像。 （b）-（g）示出了每个显著图的计算中保留的空间频率信息。
3.2 方法MZ，SR和AC的其他属性
在MZ中，每个像素位置（i，j）的显著性值由下式给出：
其中N是位置（x，y）处像素的小邻域（在由10times;10盒滤波和下采样图像获得的调整大小的图像中），并且d是Luv像素矢量p和q之间的欧几里得距离。 在我们的实验中，我们选择N为3times;3邻域。 该方法速度快，但缺点是突出物体边缘两侧的显著值很高，即显著图显示突出物体比它大，如果块大小大于 10times;10。另外，对于大型显著目标，显著区域不可能被统一突出显示（见图3（c））。
在SR中，频谱残差R是通过从原始对数幅度谱中减去FFT（快速傅里叶变换）对数谱的平滑版本而得到的。 显著图是谱残差的逆变换。 FFT使用可分离的3times;3均值滤波器进行平滑。 在一维中检查这个操作，这相当于将残基R（k）形成为：
其中，*表示卷积。 这个公式的简单操作表明（1-D）谱残差R（k）可以写为：
当在二维FFT系数上以二维方式执行此操作时，只有3个低频AC系数除以DC（平均）值（如果FFT系数循环扩展用于滤波，则3个最高频率FFT AC系数也被平均值除）。 相比之下，对比度测量通常将所有FFT AC系数归一化为平均值[11]。
在方法AC中，中心 - 环绕对比度被计算为中心和环绕区域的平均Lab向量之间的欧几里德距离。 像素位置（x，y）处的显著性值如下给出：
其中特征映射值F t（x，y）被找到为Lab 空间中t像素矢量c（x，y）（中心）与窗口t（环绕）中的平均Lab像素矢量st（x，y）之间的欧几里德距离d，。 方形环绕区域随着而变化，假设W是图像两个维度中较小的一个。
小于过滤器尺寸的对象被完全检测到，而大于过滤器尺寸的对象仅被部分检测到（更接近边缘）。 所有三个滤波器都能检测到最小滤波器能够检测到的较小对象，而较大的对象只能被较大的滤波器检测到。 由于最终显著性图是三个特征图的平均值（对应于三个滤波器的检测结果），因此小物体几乎总是会更好地突出显示。 这就解释了为什么玩具熊的眼睛（或花的中心）比图3（f）中其余的熊（或花）更显著。
图3.显著图的视觉比较。 （a）原始图像;（b）使用Itti [16]，（c）Ma和Zhang [22]，（d）Harel等人[10]，（e）Hou和Zhang [12 ]，（f）Achanta等[1]和（g）我们的方法。 与其他方法相比，我们的方法可生成更清晰，均匀突出的显著区域。
4.频率调谐显著性检测
在第2.1节和第3节中，提到了现有显著性检测方法的缺点。 由于这些缺陷，我们在本节中提出了一种新算法。
4.1 显著图的要求
我们为显著性检测器设置了以下要求：
bull;强调最大的突出物体。
bull;统一突出显示整个显著区域。
bull;建立明确的显著物体边界。
bull;忽视由纹理，噪声和阻塞伪影引起的高频。
bull;高效输出全分辨率显著图。
令omega;lc为低频截止值，omega;hc为高频截止值。 为了突出大的显著物体，我们需要从原始图像中考虑非常低的频率，即omega;lc必须是低的（第一标准）。 这也有助于统一突出显示对象（第二个标准）。 为了具有明确的边界，我们需要保留原始图像中的高频，即omega;hc必须很高（第三标准）。 但是，为了避免噪声，编码伪像和纹理图案，需要忽略最高频率（第四标准）。 由于我们对包含多种频率的显著图感兴趣，因此将几个带通滤波器的输出与连续的[omega;lc，omega;hc]通带相结合是适当的。
4.2 结合DoG带通滤波器
我们选择DoG滤波器（等式5）进行带通滤波。 DoG滤波器广泛用于边缘检测，因为它紧密高效地逼近高斯拉普拉斯（LoG）滤波器，当高斯信号的标准偏差的比率为1：1.6时，它被认为是检测强度变化的最令人满意的算子[23]。 DoG也用于兴趣点检测[21]和显著性检测[16,10]。 DoG滤波器由以下给出：
其中sigma;1和sigma;2是高斯的标准偏差（sigma;1gt;sigma;2）。
DoG滤波器是一个简单的带通滤波器，其通带宽度由比率sigma;1：sigma;2控制。 让我们考虑组合几个窄带通DoG滤波器。 如果我们定义sigma;1 =rho;sigma;并且sigma;2 =sigma;以使得rho;=sigma;1 /sigma;2，我们发现DoG上的总和与标准偏差在比率rho;中导致：
对于一个整数Nge;0，它只是两个高斯差分（因为除了第一个和最后一个加起来的所有项都加起来为零），其标准差可以有任何比值K =rho;N。 也就是说，我们可
全文共13631字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[15305]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
