盲去噪自编码器
Angshul Majumdar
摘要—术语“盲去噪”是指在去噪过程中从噪声样本本身学习去噪的基础。基于字典学习和变换学习的盲去噪公式是众所周知的。但是对于所述盲去噪方法，还没有基于自动编码器的解决方案。迄今为止，基于自动编码器的去噪公式已经在单独的训练数据上学习了模型，并且已经使用所学习的模型去噪测试样本。当测试图像(去噪)与所学模型不同时，这种方法就失败了。这将是第一项工作，我们在去噪的同时从噪声样本中学习自动编码器。实验结果表明，该方法优于字典学习(K奇异值分解)、变换学习、稀疏堆积去噪自动编码器和黄金标准BM3D算法。
索引术语——自编码，去噪。
- 介绍
去噪自然信号的最简单方法是假设信号在一些变换(小波、离散余弦变换、伽柏等)中是稀疏的，而噪音不是。给定噪声的统计特性，可以在变换域中进行阈值处理，以去除噪声并仅保留高值信号系数，通过应用逆变换来重构信号的干净版本。信号和图像处理文献已经看到了这一基本思想的许多变体，[1]–[3]。
然而，这种方法的问题是去噪性能受到变换稀疏能力的限制——表示越稀疏去噪效果越好。但是人们不知道代表需要去噪的特定样本的最佳基础是什么——是小波，是离散余弦变换还是像曲波或轮廓波这样更复杂的东西。这是一个鸡和蛋的问题，要知道最佳稀疏基础需要访问干净图像，但是(去噪)又是需要解决的问题。
固定变换的局限性为基于学习的去噪铺平了道路。其中很少是基于核心主成分分析技术[4]，[5]。更流行和成功的是基于稀疏基础的自适应学习。K-singular value decomposition（K-SVD）[6]，[7]可能是最流行的技术；它基于字典学习方法。另一种(最近的)技术是基于变换学习[8]，[9]。这两种方法都是盲去噪技术，即在去噪时自适应地从信号中学习稀疏基。
最近，一些基于信号去噪的自编码器的论文被发表了出来[10]–[13]。这些技术在训练集中学习自动编码器模型，并使用训练后的模型去噪新的测试样本。与基于字典学习和变换学习的方法不同，基于自动编码器的方法不是盲目的；他们没有从手边的信号中学习模型。
手稿于2017年1月17日收到；修订于2017年6月6日、2017年11月22日和2018年2月13日；2018年5月10日接受。出版日期:2018年6月12日；当前版本的日期为2018年12月19日。这项工作得到了夏令时-CNRS-2016-02的支持。提交人在印度新德里印度信息技术研究所工作，邮编:110020。
本文中一个或多个图形的彩色版本可在http://ieeexplore.ieee.org在线获得。
数字对象识别器10.1109/TNNLS.2018.38888886186
这种方法的主要缺点是，人们永远不知道学习过的自动编码器对看不见的数据会有多好。在上述[10]–[13]的研究中，对自然图像的标准数据集(图像网/加拿大上海财经大学高等研究院)进行了训练，并用于对自然图像进行去噪。学习到的模型能用于从其他模式中恢复图像吗——雷达、合成孔径雷达、核磁共振成像和计算机断层扫描？在这篇短文中，我们将表明答案是否定的。这些技术只能在从同一模态获得大量训练数据时去噪。然而，这对于自然图像来说不是问题；去噪自然图像的有用性值得怀疑。通常，数码照片非常干净，不需要去噪；只有对于科学成像模式(前面提到过),去噪才成为重要的预处理步骤。不幸的是，对于这种模式，大量的培训数据并不容易获得。因此，在这种情况下，基于自动编码器的方法可能会失败；在自然图像上学习的模型不能很好地推广到其他模式。
本文提出了一种基于自动编码器的盲去噪公式；即，我们不需要训练自动编码器在单独的训练数据集上去噪。它将在去噪的同时从信号中学习自动编码器。所提出的方法比基于K-奇异值分解、TL和现有自动编码器的方法产生更好的结果。事实上，平均而言，它比黄金标准BM3D算法产生更好的结果。
- 背景
1.基于字典学习的去噪
字典学习是一种综合公式；它学习字典(D)，以便从学习的系数(Z)合成/再生数据(X)
X=DZ (2)
基本上，它将数据矩阵分解成字典和系数。这个话题从20世纪90年代末就开始了，[14],[15]。然而，术语“DL”是最近才出现的。在早期，这项技术被用来学习模仿早期人类视觉的滤波器。(1)的解决方案如下：
这里，I0范数(定义为非零元素的数量)在矩阵的矢量化版本上定义。参数tau;控制稀疏程度。第一项加强了数据的有效性，而约束则促进了系数的稀疏性。如果(2)通过替代最小化来解决。在一个步骤中，假设系数要被固定，字典/码本被更新；在下一个步骤中，假设字典要被给出，稀疏代码/系数被更新。有许多复杂的算法来解决这样的矩阵分解问题[16]，[17]；但是对于所有实际情况，简单的交替最小二乘法都很有效。
如今，数字语言在图像处理和计算机视觉领域有着广泛的应用。然而，视觉不是我们感兴趣的领域。我们将把自己局限于它在反问题中的应用——主要是去噪。
线性反问题可以用以下形式表示：
其中x是要求解的，y是度量值，A是线性的接线员。字典学习是基于补丁的公式。这本字典是从信号的碎片中学习的。这表示为：
这里，Pi是补丁提取操作符。这个表达式相当于(1)。这里是对要解决的信号的估计。线性反问题的解通过DL分两大阶段进行。首先，使用字典及其系数获得(3)的近似解；接下来，这个近似解在DL中使用。整个配方由下式给出:
这里，Z是通过将补片zi堆叠成列而形成的。根据线性算子的性质，可以解决各种逆问题。为了去噪[7]，A是身份。为了修复[18]，A是限制算子；对于重建[19]，这是一个预测。为了去噪，欧几里德范数代价函数(5)适用于高斯噪声的情况。对于其他类型的噪声，成本函数需要相应地改变。例如，在脉冲去噪中，数据有效性项需要更改为绝对偏差[20]，从而得出以下公式:
Wanga等人[21]建议将字典学习中的数据有效性术语改为l1范数，但这是不必要的，正如[20]中所示。然而，[20]和[21]的结果非常相似。
2.基于变换学习的去噪
TL相当于DL的分析。它通过学习转换/基础来分析数据，以产生系数。数学上，这表示为:
这里，T是变换，X是数据，Z是相应的系数。以下是[22]、[23]提出的:
对数因子det T对学习到的变换施加一个完整的等级；这防止了退化解(T = 0和Z = 0)。额外的惩罚是为了平衡规模。已经提出了一种交替最小化方法来解决TL问题。
更新系数(9a)很简单；这是一个标准的稀疏编码步骤。尽管求解(9b)似乎有些棘手，但在[23]中导出了一个封闭形式的更新；由下给出：
以类似DL的方式，TL通常被用来解决反问题。一般公式如下：
人们注意到第一个术语仍然和以前一样——这是数据传递术语。（.）内的术语是TL公式，相当于(8)。(11)的解决方案分两步进行。首先，通过求解来更新信号
这是一个有封闭解形式的简单最小二乘更新，第二步是TL，由下给出：
这与(8)相同。
TL是一种新方法(不到5年)，不像DL那样受欢迎。因此，其应用受到限制。它已经用于去噪[9]和重建[8]；关于这种技术的理论、算法和应用的综合列表在[24]。请注意，与DL中一样，只有(11)中的数据有效性项需要根据噪声模型进行更改；没有必要改变TL的成本函数。
3.基于自编码的去噪
自动编码器是自叠加神经网络。理想情况下，输入和输出应该是相同的。然而，已经发现，如果自动编码器的输入是有噪声的并且输出是干净的，则自动编码器的权重更鲁棒。这种去噪自动编码器(更确切地说是它们的堆叠稀疏版本)可以用来清除噪声输入[10]–[12]。
然而，堆叠稀疏去噪基于自动编码器(SSDA)的去噪是归纳的，不同于字典和基于变换学习的技术，后者本质上是直推的。在训练过程中，SSDA学习从大量训练数据中去噪；SSDA的输入是噪声样本，并输出相应的干净样本。因此，它学会去噪。在测试过程中，噪声样本出现在输入端，干净样本出现在SSDA输出端。
经验表明的一个优点是，不需要根据噪声模型以任何方式改变自动编码器训练算法。只有训练数据需要被它需要清除的噪声类型破坏。然而，这不是一个特别优雅的方法。即使对于一种类型的噪声，不同的SSDAs也需要针对不同的噪声量进行训练；即，学习去噪具有0均值和标准偏差25的高斯噪声的自动编码器将不能清除0均值和标准偏差5的噪声。需要学习两种不同的SSDAs。这同样适用于其他类型的噪声，如脉冲和斑点。
盲去噪技术在这方面更优雅。不需要培训。人们只需要知道(5)/(11)中对特定量的噪声去噪所需的几个参数(lambda;/tau;)的值。这可以很容易地在单个验证映像上预先计算。
基于SSDA的去噪的另一个问题是它严重依赖于训练数据；它期望测试数据与训练数据相似。在[10]–[12]的实验是在自然图像上进行的。网络上不乏自然图像；因此，制作一个大的训练集是可行的。然而，实际上自然图像很少被噪声破坏。现实中需要去噪的是科学图像，如合成孔径雷达、卫星、核磁共振成像、计算机断层扫描和超声成像。
正如后面将要展示的，在自然图像上训练的SSDA在这种科学成像方式上表现不佳。这是因为自然图像的结构与这些明显不同。因此，自动编码器不能概括看不见的模态。深度学习的支持者会认为微调会改善结果。实际上，即使进行微调，也需要大量数据。对于所述成像模态，获取如此大量的数据并不容易。在大多数情况下，数据是专有的，不公开。
- 提及的公式
1.高斯去噪
本简介集中于介绍加性噪声模型，表示为：
这里，是需要恢复的干净信号；n是加性噪声，x是被破坏的噪声信号。
我们提出了一种盲去噪方法，即在去噪的同时学习自动编码器。我们不需要获得[10]–[12]要求的任何培训数据。
我们从信号的碎片中学习自动编码器。这表示为:
这里(和其他地方)表示激活函数。该学习是基于通常的自动编码器公式，该公式最小化欧几里德成本。
与其他基于面片的去噪技术(5)/(11)一样，我们需要噪声图像(x)和去噪估计()之间的全局一致性项。假设高斯噪声，这将是简单的欧几里德范数:。因此，完整的去噪公式采取以下形式
在去噪的所有先前研究中，已经观察到特征的稀疏性提高了性能[6]–[12]。因此，我们通过对系数增加l1范数罚分，将稀疏性纳入(17):
这不是一个容易解决的问题。我们采取分裂的布雷格曼方法，[25]–[27]。我们引入一个代理变量。在通过增广拉格朗日松弛等式约束并引入布雷格曼变量后，我们的公式采用以下形式:
这里，bi 是布雷格曼松弛变量，它在每次迭代中自动更新，以便在收敛时强制变量和它们的代理之间相等。
使用交替方向法的乘数[28]，[29]，(19)可以分为以下几个问题:
P1:
P2:
P3:
P4:
子问题P1是一个简单的最小二乘问题。子问题P2可以等价地表示为最小二乘问题；这是可能的，因为激活函数是按元素方式应用的，因此很容易反转。用同样的逻辑，P3也可以被重铸为最小二乘问题。所有最小二乘问题都有伪逆形式的解析解。子问题P4很容易解耦成分别求解每个子问题。这导致l1正则化最小二乘问题。这是由下式给出的:
使用迭代软阈值算法[30]可以容易地解决这个问题。最后一步是更新布雷格曼弛豫变量。这是通过简单的梯度下降来实现的。
在每次迭代中，我们必须解决四个子问题P1——P4。P1—P3是简单的线性最小二乘问题。他们有一个以伪逆形式的封闭解。计算伪逆的复杂度为0()，其中wlt;2.37这一点得到了最少的证明，实际上推测为w = 2。为了解决子问题P4，需要迭代求解稀疏编码问题。它通常运行固定次数的迭代(比如k)。每次迭代需要两个矩阵乘积和一个阈值。矩阵乘积的复杂度也是0()，阈值化的复杂度也是0(n)。因此，算法每次迭代的总复杂度为3times;0() k{0() O(n)}。字典和TL的计算复杂度为3times;0() k { 0() O(n)}；由于需要在每次迭代中计算奇异值分解，所以它略高于我们提出的技术。
2.脉冲去噪
到目前为止，我们已经讨论了高斯去噪技术。对于脉冲去噪，唯一的变化是全局数据有效性项(17)；我们需要最小化出租车距离，而不是欧几里德范数。
与之前的
全文共17643字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[1919]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
