盲去噪自编码器外文翻译资料

 2022-01-07 22:19:48

盲去噪自编码器

Angshul Majumdar

摘要—术语“盲去噪”是指在去噪过程中从噪声样本本身学习去噪的基础。基于字典学习和变换学习的盲去噪公式是众所周知的。但是对于所述盲去噪方法,还没有基于自动编码器的解决方案。迄今为止,基于自动编码器的去噪公式已经在单独的训练数据上学习了模型,并且已经使用所学习的模型去噪测试样本。当测试图像(去噪)与所学模型不同时,这种方法就失败了。这将是第一项工作,我们在去噪的同时从噪声样本中学习自动编码器。实验结果表明,该方法优于字典学习(K奇异值分解)、变换学习、稀疏堆积去噪自动编码器和黄金标准BM3D算法。

索引术语——自编码,去噪。

  1. 介绍

去噪自然信号的最简单方法是假设信号在一些变换(小波、离散余弦变换、伽柏等)中是稀疏的,而噪音不是。给定噪声的统计特性,可以在变换域中进行阈值处理,以去除噪声并仅保留高值信号系数,通过应用逆变换来重构信号的干净版本。信号和图像处理文献已经看到了这一基本思想的许多变体,[1]–[3]。

然而,这种方法的问题是去噪性能受到变换稀疏能力的限制——表示越稀疏去噪效果越好。但是人们不知道代表需要去噪的特定样本的最佳基础是什么——是小波,是离散余弦变换还是像曲波或轮廓波这样更复杂的东西。这是一个鸡和蛋的问题,要知道最佳稀疏基础需要访问干净图像,但是(去噪)又是需要解决的问题。

固定变换的局限性为基于学习的去噪铺平了道路。其中很少是基于核心主成分分析技术[4],[5]。更流行和成功的是基于稀疏基础的自适应学习。K-singular value decomposition(K-SVD)[6],[7]可能是最流行的技术;它基于字典学习方法。另一种(最近的)技术是基于变换学习[8],[9]。这两种方法都是盲去噪技术,即在去噪时自适应地从信号中学习稀疏基。

最近,一些基于信号去噪的自编码器的论文被发表了出来[10]–[13]。这些技术在训练集中学习自动编码器模型,并使用训练后的模型去噪新的测试样本。与基于字典学习和变换学习的方法不同,基于自动编码器的方法不是盲目的;他们没有从手边的信号中学习模型。

手稿于2017年1月17日收到;修订于2017年6月6日、2017年11月22日和2018年2月13日;2018年5月10日接受。出版日期:2018年6月12日;当前版本的日期为2018年12月19日。这项工作得到了夏令时-CNRS-2016-02的支持。提交人在印度新德里印度信息技术研究所工作,邮编:110020。

本文中一个或多个图形的彩色版本可在http://ieeexplore.ieee.org在线获得。

数字对象识别器10.1109/TNNLS.2018.38888886186

这种方法的主要缺点是,人们永远不知道学习过的自动编码器对看不见的数据会有多好。在上述[10]–[13]的研究中,对自然图像的标准数据集(图像网/加拿大上海财经大学高等研究院)进行了训练,并用于对自然图像进行去噪。学习到的模型能用于从其他模式中恢复图像吗——雷达、合成孔径雷达、核磁共振成像和计算机断层扫描?在这篇短文中,我们将表明答案是否定的。这些技术只能在从同一模态获得大量训练数据时去噪。然而,这对于自然图像来说不是问题;去噪自然图像的有用性值得怀疑。通常,数码照片非常干净,不需要去噪;只有对于科学成像模式(前面提到过),去噪才成为重要的预处理步骤。不幸的是,对于这种模式,大量的培训数据并不容易获得。因此,在这种情况下,基于自动编码器的方法可能会失败;在自然图像上学习的模型不能很好地推广到其他模式。

本文提出了一种基于自动编码器的盲去噪公式;即,我们不需要训练自动编码器在单独的训练数据集上去噪。它将在去噪的同时从信号中学习自动编码器。所提出的方法比基于K-奇异值分解、TL和现有自动编码器的方法产生更好的结果。事实上,平均而言,它比黄金标准BM3D算法产生更好的结果。

  1. 背景

1.基于字典学习的去噪

字典学习是一种综合公式;它学习字典(D),以便从学习的系数(Z)合成/再生数据(X)

X=DZ (2)

基本上,它将数据矩阵分解成字典和系数。这个话题从20世纪90年代末就开始了,[14],[15]。然而,术语“DL”是最近才出现的。在早期,这项技术被用来学习模仿早期人类视觉的滤波器。(1)的解决方案如下:

这里,I0范数(定义为非零元素的数量)在矩阵的矢量化版本上定义。参数tau;控制稀疏程度。第一项加强了数据的有效性,而约束则促进了系数的稀疏性。如果(2)通过替代最小化来解决。在一个步骤中,假设系数要被固定,字典/码本被更新;在下一个步骤中,假设字典要被给出,稀疏代码/系数被更新。有许多复杂的算法来解决这样的矩阵分解问题[16],[17];但是对于所有实际情况,简单的交替最小二乘法都很有效。

如今,数字语言在图像处理和计算机视觉领域有着广泛的应用。然而,视觉不是我们感兴趣的领域。我们将把自己局限于它在反问题中的应用——主要是去噪。

线性反问题可以用以下形式表示:

其中x是要求解的,y是度量值,A是线性的接线员。字典学习是基于补丁的公式。这本字典是从信号的碎片中学习的。这表示为:

这里,Pi是补丁提取操作符。这个表达式相当于(1)。这里是对要解决的信号的估计。线性反问题的解通过DL分两大阶段进行。首先,使用字典及其系数获得(3)的近似解;接下来,这个近似解在DL中使用。整个配方由下式给出:

这里,Z是通过将补片zi堆叠成列而形成的。根据线性算子的性质,可以解决各种逆问题。为了去噪[7],A是身份。为了修复[18],A是限制算子;对于重建[19],这是一个预测。为了去噪,欧几里德范数代价函数(5)适用于高斯噪声的情况。对于其他类型的噪声,成本函数需要相应地改变。例如,在脉冲去噪中,数据有效性项需要更改为绝对偏差[20],从而得出以下公式:

Wanga等人[21]建议将字典学习中的数据有效性术语改为l1范数,但这是不必要的,正如[20]中所示。然而,[20]和[21]的结果非常相似。

2.基于变换学习的去噪

TL相当于DL的分析。它通过学习转换/基础来分析数据,以产生系数。数学上,这表示为:

这里,T是变换,X是数据,Z是相应的系数。以下是[22]、[23]提出的:

对数因子det T对学习到的变换施加一个完整的等级;这防止了退化解(T = 0和Z = 0)。额外的惩罚是为了平衡规模。已经提出了一种交替最小化方法来解决TL问题。

更新系数(9a)很简单;这是一个标准的稀疏编码步骤。尽管求解(9b)似乎有些棘手,但在[23]中导出了一个封闭形式的更新;由下给出:

以类似DL的方式,TL通常被用来解决反问题。一般公式如下:

人们注意到第一个术语仍然和以前一样——这是数据传递术语。(.)内的术语是TL公式,相当于(8)。(11)的解决方案分两步进行。首先,通过求解来更新信号

这是一个有封闭解形式的简单最小二乘更新,第二步是TL,由下给出:

这与(8)相同。

TL是一种新方法(不到5年),不像DL那样受欢迎。因此,其应用受到限制。它已经用于去噪[9]和重建[8];关于这种技术的理论、算法和应用的综合列表在[24]。请注意,与DL中一样,只有(11)中的数据有效性项需要根据噪声模型进行更改;没有必要改变TL的成本函数。

3.基于自编码的去噪

自动编码器是自叠加神经网络。理想情况下,输入和输出应该是相同的。然而,已经发现,如果自动编码器的输入是有噪声的并且输出是干净的,则自动编码器的权重更鲁棒。这种去噪自动编码器(更确切地说是它们的堆叠稀疏版本)可以用来清除噪声输入[10]–[12]。

然而,堆叠稀疏去噪基于自动编码器(SSDA)的去噪是归纳的,不同于字典和基于变换学习的技术,后者本质上是直推的。在训练过程中,SSDA学习从大量训练数据中去噪;SSDA的输入是噪声样本,并输出相应的干净样本。因此,它学会去噪。在测试过程中,噪声样本出现在输入端,干净样本出现在SSDA输出端。

经验表明的一个优点是,不需要根据噪声模型以任何方式改变自动编码器训练算法。只有训练数据需要被它需要清除的噪声类型破坏。然而,这不是一个特别优雅的方法。即使对于一种类型的噪声,不同的SSDAs也需要针对不同的噪声量进行训练;即,学习去噪具有0均值和标准偏差25的高斯噪声的自动编码器将不能清除0均值和标准偏差5的噪声。需要学习两种不同的SSDAs。这同样适用于其他类型的噪声,如脉冲和斑点。

盲去噪技术在这方面更优雅。不需要培训。人们只需要知道(5)/(11)中对特定量的噪声去噪所需的几个参数(lambda;/tau;)的值。这可以很容易地在单个验证映像上预先计算。

基于SSDA的去噪的另一个问题是它严重依赖于训练数据;它期望测试数据与训练数据相似。在[10]–[12]的实验是在自然图像上进行的。网络上不乏自然图像;因此,制作一个大的训练集是可行的。然而,实际上自然图像很少被噪声破坏。现实中需要去噪的是科学图像,如合成孔径雷达、卫星、核磁共振成像、计算机断层扫描和超声成像。

正如后面将要展示的,在自然图像上训练的SSDA在这种科学成像方式上表现不佳。这是因为自然图像的结构与这些明显不同。因此,自动编码器不能概括看不见的模态。深度学习的支持者会认为微调会改善结果。实际上,即使进行微调,也需要大量数据。对于所述成像模态,获取如此大量的数据并不容易。在大多数情况下,数据是专有的,不公开。

  1. 提及的公式

1.高斯去噪

本简介集中于介绍加性噪声模型,表示为:

这里,是需要恢复的干净信号;n是加性噪声,x是被破坏的噪声信号。

我们提出了一种盲去噪方法,即在去噪的同时学习自动编码器。我们不需要获得[10]–[12]要求的任何培训数据。

我们从信号的碎片中学习自动编码器。这表示为:

这里(和其他地方)表示激活函数。该学习是基于通常的自动编码器公式,该公式最小化欧几里德成本。

与其他基于面片的去噪技术(5)/(11)一样,我们需要噪声图像(x)和去噪估计()之间的全局一致性项。假设高斯噪声,这将是简单的欧几里德范数:。因此,完整的去噪公式采取以下形式

在去噪的所有先前研究中,已经观察到特征的稀疏性提高了性能[6]–[12]。因此,我们通过对系数增加l1范数罚分,将稀疏性纳入(17):

这不是一个容易解决的问题。我们采取分裂的布雷格曼方法,[25]–[27]。我们引入一个代理变量。在通过增广拉格朗日松弛等式约束并引入布雷格曼变量后,我们的公式采用以下形式:

这里,bi 是布雷格曼松弛变量,它在每次迭代中自动更新,以便在收敛时强制变量和它们的代理之间相等。

使用交替方向法的乘数[28],[29],(19)可以分为以下几个问题:

P1:

P2:

P3:

P4:

子问题P1是一个简单的最小二乘问题。子问题P2可以等价地表示为最小二乘问题;这是可能的,因为激活函数是按元素方式应用的,因此很容易反转。用同样的逻辑,P3也可以被重铸为最小二乘问题。所有最小二乘问题都有伪逆形式的解析解。子问题P4很容易解耦成分别求解每个子问题。这导致l1正则化最小二乘问题。这是由下式给出的:

使用迭代软阈值算法[30]可以容易地解决这个问题。最后一步是更新布雷格曼弛豫变量。这是通过简单的梯度下降来实现的。

在每次迭代中,我们必须解决四个子问题P1——P4。P1—P3是简单的线性最小二乘问题。他们有一个以伪逆形式的封闭解。计算伪逆的复杂度为0(),其中wlt;2.37这一点得到了最少的证明,实际上推测为w = 2。为了解决子问题P4,需要迭代求解稀疏编码问题。它通常运行固定次数的迭代(比如k)。每次迭代需要两个矩阵乘积和一个阈值。矩阵乘积的复杂度也是0(),阈值化的复杂度也是0(n)。因此,算法每次迭代的总复杂度为3times;0() k{0() O(n)}。字典和TL的计算复杂度为3times;0() k { 0() O(n)};由于需要在每次迭代中计算奇异值分解,所以它略高于我们提出的技术。

2.脉冲去噪

到目前为止,我们已经讨论了高斯去噪技术。对于脉冲去噪,唯一的变化是全局数据有效性项(17);我们需要最小化出租车距离,而不是欧几里德范数。

与之前的

全文共17643字,剩余内容已隐藏,支付完成后下载完整资料


资料编号:[1919]

原文和译文剩余内容已隐藏,您需要先支付 30元 才能查看原文和译文全部内容!立即支付

以上是毕业论文外文翻译,课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。