基于分解频谱空间特征表示的神经网络高光谱像素分类外文翻译资料

 2022-08-09 10:08

英语原文共 12 页,剩余内容已隐藏,支付完成后下载完整资料


基于分解频谱空间特征表示的神经网络高光谱像素分类

摘要:深度学习能够生成深度特征表示,因此在高光谱像素分类中得到了广泛的应用,然而,如何构建一个高效、强大、适用于高光谱数据的网络仍在探索中。首先,利用一个子网络从丰富而冗余的光谱频带中提取基于像素的固有特征。首先,利用一个子网络从丰富而冗余的光谱频带中提取基于像素的固有特征。其次,为了利用像素间的局部空间相关性,我们共享之前的子网络,作为图像块中每个像素的光谱特征提取器,然后将块中所有像素点的光谱特征进行组合,并输入到后续的分类子网络中,最后,对整个网络进行进一步的微调,以提高其分类性能。特别的,在我们的模型结构中应用了频谱空间因子分解方案,使得高光谱图像分类的网络规模和参数数量大大小于现有的光谱-空间深度网络。与其他先进的深度学习方法相比,对高光谱数据集的实验表明,我们的方法可以实现对体精度(OA)、平均精度(AA)和卡帕分别提高0.18%-7.6%、0.1%-3.58%和0.21%-3.09%,而具有更小的网络尺寸和更少的参数。

关键字:高光谱影像分类,深度神经网络,频谱空间特征分解。

1 简介

高光谱成像为分析各种不同材料的光谱和空间分布提供了丰富的信息,为遥感研究提供了新的机遇。其最重要的应用之一是像素分类,它在材料识别、目标检测、标引等领域中得到了广泛的应用,然而,高光谱图像的分类(HSI)仍面临着一些挑战,比如,可用少量的训练样本之间的不平衡和大量的窄谱带,高光谱特征的变化相同的材料,不同材料之间的相似性高的光谱特征,并从传感器和环境噪声的影响。为了解决上述问题,提取强健的特征和判别特征是非常必要的。常用的光谱特征提取算法包括主成分分析(PCA)、独立成分分析(ICA)、线性判别分析(LDA)、流形学习以及各种波段选择方法。此外,许多研究表明,仅凭光谱信息很难很好地区分像素,因此空间光谱特征提取越来越受到重视,提出了扩展形态剖面和三维离散小波变换(3D-DWT)等多种联合频谱空间特征。

最近,随着被称为深度学习的现代神经网络技术的巨大发展,在图像分割、图像分类、艺术风格转换、目标检测、人脸验证/识别、语音识别、翻译等领域取得了巨大的成功。与经典的统计方法明确指定完全指定的建模过程相比,深度学习试图适应一种隐式但潜在强大的功能,这种功能既可以模拟仿生机制,又可以通过数据驱动的学习过程提取复杂的特征。目前已有多种先进的深度学习方法应用于HSI处理中,如分解、目标检测、HSI可视化、HSI去噪、HSI超分辨率和恒生指数的分类。

其中,基于深度神经网络的HSI分类方法也大致可以分为基于光谱的方法和基于光谱空间的方法。第一类深度学习方法直接利用像素的光谱特征进行分类,包括基于堆叠式自编码器的方法、基于训练前的方法和基于卷积神经网络(CNN))的方法。尽管它们带来了HSI分类相对于传统分类技术的显著改进,例如最近规则分类(KNN)和支持向量机(SVM),一些像素仍然很难准确分类单独使用光谱信息由于高类的相似性和内部类的区别。另一方面,以空间叠加自编码器(SAE)为基础的方法、基于CNN的频谱空间特征提取方法方法、基于CNN的频谱空间特征分类器为代表,基于光谱空间信息的深度学习方法已经被证明比基于光谱信息的方法具有更好的性能。特别是三维CNN (3D-CNN)是这些基于频谱空间信息的深度学习方法中的典型模型。3D-CNN将标准CNN与空间和光谱维度进行卷积,用于HSI分类。该方案始终利用HSI中的局部空间信息进行分类学习和推理。但是,与一维(1D)和二维(2D)相比,CNN、3D-CNN需要更大的模型尺寸来捕捉有用的特征,因为与输入尺寸和尺寸相比,内核的数量和尺寸增长很快,特别是当空间尺寸和光谱尺寸在物理机制上有区别的时候。一般来说,3D-CNN的参数往往过多,容易过度拟合,难以训练。正如He等人提出的,过大的网络可能会遇到一定的近似困难。Han等人也指出,CNN的权值可能是冗余的,大部分CNN并没有携带重要的信息。Li等人表明了一个相似的事实,即流行的深度模型存在重量冗余问题。Zhang等人也指出,参数过多的超大模型往往倾向于记忆数据集,而不是学习一般的任务解。此外,由于高光谱数据集中类标记像素的资源有限,该问题将导致分类性能的严重下降。因此,减小模型尺寸成为基于谱空间CNN的HSI像素分类方法的一个重要问题。

除了常规的深度学习模型的模型压缩技术,如归一化、正则化、网络剪枝等,运算因子分解在CNN和其他深度神经网络中被广泛使用,将复杂的计算解耦为许多小得多的步骤,这些步骤的参数总数要少得多。例如,一个参数为73728的卷积层被分解为两个单独的操作:一个是深度卷积,一个是点卷积,共有576 8192 = 8768个参数。ntimes;n卷积分解为一个1times;n个卷积与ntimes;1个卷积。解耦/分解操作可以提高泛化能力,减少资源消耗,提高训练和推理速度。因此,操作因子分解也是目前应用于HSI分类的谱空间深度学习模型中最流行也是最实用的方案之一。例如,CNN具有像素对特性(CN-PPF)是基于局部成分的相似性,以一对像素为输入,输出判断这两个像素是属于不同的类还是都属于哪个类。将CNN-PPF中的光谱空间特征分解为类相关的潜在光谱特征和基于像素对一致性的空间特征。通过基于相邻像素对信息的投票策略来确定目标像素的最终标签。CNN-PPF使用其增强数据和L2正则化方案,性能良好。类似地,暹罗美国有线电视新闻网(CNN)使用配对图像补丁作为训练样本,和火车补丁的中心像素进行分类,频谱空间特性的映像到暹罗的光谱特征提取所使用的空间信息网络和一个支持向量机相结合的光谱特征向量补丁输出暹罗网络。不幸的是,CNN-PPF和S-CNN的光谱操作和空间操作的组合方案是固定的,而不是自适应学习的,因为CNN-PPF使用的是投票策略,而S-CNN使用的是分离的SVM。因此,无法实现具有全局优化的端到端CNN。

摘要提出了一种利用光谱和空间信息的深度神经网络,该神经网络具有简单、自适应、端到端、易于训练等特点。将光谱空间分类模型分解为基于像素的光谱特征提取子网络(SFE-Net)和基于碎片的空间分类子网络(PSC-Net)。SFE-Net是在监督学习方案中预先训练的,它是一种仅基于光谱信息的粗糙预测,它可以像任何基于光谱的深度神经网络一样构造。为了完善我们的预测,我们不采用CNN-PPF中采用的多数投票的先验知识,而是采用数据驱动的方法。然后训练PSC-Net来确定中中心像素的类别,方法是将周围像素的先验类别概率向量连接到一个向量中作为输入,因为这些相邻像素之间存在很强的空间关系。这两个子网通过一个连续的连接连接在碎片一起。我们首先分享然后将提取到的光谱特征作为输入向量串接PSC-Net。此外,通过反向传播算法将两个分解后的子网络协作训练成一个完整的网络,以提高网络的整体性能。由于本文所使用的SFE-Net和PSC-Net都是基于深度神经网络,并且频谱空间特征是通过因子表示的,因此我们将所提出的模型命名为因子分解模型频谱空间特征网络(FSSF)。在图1给出了该框架的一个演示。

图 1 FSSF-Net预测目标像素的工作流程详情

综上所述,本文提出了一种新的基于深度学习的框架,通过灵活和广义的特征因子分解方案更好地利用HSI的联合频谱空间结构。它允许各种深度神经网络作为子网或隐藏层。同时,它是一个集成的端到端模型。与目前最先进的基于深度学习的HSI分类方法(包括基于CNN的HSI分类方法)相比,该方法具有较好的分类性能。此外,由特征因式分解产生的轻量级模型,在少量带类标记的样本的情况下,可以带来更快的训练、更低的存储空间和更好的泛化效果。

论文组织如下。在第二节中,我们将介绍所提出的模型,然后介绍实现的细节。在第三节中,我们进行了大量的实验来研究所提出的模型的有效性和所使用的主要技术,并与一些最先进的方法进行了实验比较。最后,我们在第四节结束我们的工作。

2 方法

在这一节中,我们将解释我们的网络的一些细节,包括特定的网络架构和培训方案。我们首先强调两个子网的细节,SFE-Net和PSC-Net,以及它们是如何连接在一起的。作为主要关注点之一,我们阐明了我们的训练方案,特别是错误是如何通过PSC-Net反向传播到SFE-Net的。

2.1 模型架构

FSSF-Net采用从HSI中提取的3D 碎片作为输入。如前所述,FSSF-Net包括两个部分:SFE-Net和PSC-Net。对于三维碎片,我们首先在每个像素之间应用和共享SFE-Net来提取光谱特征,然后将这些光谱特征连接到一个向量中,融合碎片中包含的空间信息。利用这个向量,PSC-Net推断出中心像素的类标签。

一般来说,这两个子网的结构和层数没有限制。假定SFE-Net和PSC-Net是任意类型的神经网络,即,它们并不局限于特定的形式。我们的框架的灵活性允许我们选择和/或开发任何网络结构,以最大化分类性能。在本文中,我们使用多层感知器(MLP)为两个子网架构。为了提高泛化能力和广告过拟合能力,将批量规划层、自归一化神经网络和退出层作为正则化/标准化组件添加到体系结构中。SFE-Net和PSC-Net的网络结构如图2所示,其中FC表示全连接层。对于SFE-Net和PSC-Net,隐藏的全连通层具有相同数量的输出单元u = 100,并且它们的所有Drop-out层具有相同的保留r = 0.5的概率。SFE-Net和PSC-Net的输出都是C维向量,由softmax激活作为最终输出,其中C是类的数量。

2.2 模型训练

基于碎片的HSI数据集可以表示为:,其中W为方形HSI碎片的宽度,D为光谱频带/信道的数量,N为数据集中的碎片数量,对应的分类标签集为,其中每个元素是中中心像素的一个热点标签,C仍然是类的数量。HSI的像素分类是寻找一个函数例如输出与分类标签Y越接近越好。

在FSSF-Net中,对子模块SFE-Net进行预处理,并进行分类监督,从而提供软最大向量作为输出光谱特征。然后,子模块PSC-Net利用HSI 碎片的这些光谱特征,输出最终的分类结果,最终的分类结果也是通过一个分类损失度量来实现的。具体来说,给定输出向量及其对应的一个热标号,其中向量的第j个元素被索引,损失函数可以表示为:

(1)

在训练前阶段,我们提取每个碎片的中心像素,用相应的标签训练SFE-Net。在微调阶段,FSSF-Net使用3D 碎片作为输入,其标签由中心像素提供。在这个阶段,SFE-Net和PCS-Net都是可训练的。当FSSF-Net的微调训练收敛时,整个训练过程就完成了。特别是通过PSC-Net将错误反向传播到SFE-net时,更新SFE-net所用的错误是一个碎片中每个像素上计算出的错误的平均值。我们的实验中使用了ADAM(自适应矩估计)优化器,两个阶段的学习速率都设置为0.001。输入碎片宽度 W设置为7,这是训练存储的工作量和输入到网络的空间信息量之间的权衡。此外,用于训练的小块可能会重叠,这取决于用于训练的标记像素的分布。每个数据集中用于训练的提取碎片的数量与用于训练的标记像素的数量相同。由于碎片中所有的像素,而中间的像素在训练和测试过程中都只提供了它们的光谱特征,所以是否重叠并不影响我们的方法。总的来说,在我们的实现中有四个超参数C, W, u,r,其中W, u,r在我们所有的实验中都是常数。

图2 SFE-Net和PSC-Net的结构

3 实验

在本节中,我们首先介绍我们实验中使用的五个数据集,并阐明相应的实验设置。在此基础上,分析了该方法的三个基本思想:SFE-Net的预训练、空间共享的频谱提取器和隐层类型的灵活性。后,通过与一些最先进的方法的比较,进一步评价了我们的方法。框架选择基于CUDA库作为计算框架,应用统一接口封装器深度学习简化实现。所有的实验都是在一个配备了Intel Xeon E5-2620 v4 2.1 GHz和Nvidia GeForce GTX 1080显卡的工作站上进行的。OA、AA、kappa为分类精度的标准。所有实验重复五次。

3.1 实验数据

第一个是1992年由机载可见/红外成像光谱仪(AVIRIS)从印第安纳州西北部收集的印度松树数据集,包括16个植被类别。可见光和红外光谱在0.4-45米范围内有220个光谱波段,每个波段有145 145个像素。印度松数据集的伪彩色图像如图3所示。

第二个数据集Salinas也由位于加利福尼亚州萨利纳斯山谷的AVIRIS传感器收集,每个波段包含512217个像素。除去20条吸水带后,还剩下204条用于实验。图像中包含16个类,如蔬菜、裸地和葡萄园。其伪彩色图像如图4所示。

第三个是1996年AVIRIS传感器在佛罗里达州肯尼迪航天中心(KSC)获得的KSC数据集。去除吸水率和低信噪比波段后,共使用176波段,有13个土地覆盖类和512614像素与5211标记,其伪彩色图像如图5所示。

第四个是帕维亚大学的数据集,2001年由意大利北部的反射光学系统成像光谱仪(ROSIS)获得。图像场景包含9种城市土地覆盖类型,每个波段有610 340像素。去除非常嘈杂的波段后,剩下的103个光谱波段,在可见光和红外光谱的0.43-0.86 m范围内,被使用。其伪彩色图像如图6所示。

第五个是帕维亚中心的数据集,也是由ROSIS传感器在意大利北部帕维亚上空获得的。去除噪声波段后,还剩下102个光谱波段。Pavia Center的原始尺寸是1096 x 1096,但是图像中的一些样本没有包含任何信息,需要丢弃,因此选择了一个尺寸为1096 x 715的子集,它包含了9个不同的类。其伪彩色图像如图7所示。

图3 印度松的伪彩色图像(波段5,50,200)

<p

剩余内容已隐藏,支付完成后下载完整资料</p


资料编号:[239486],资料为PDF文档或Word文档,PDF文档可免费转换为Word

原文和译文剩余内容已隐藏,您需要先支付 30元 才能查看原文和译文全部内容!立即支付

以上是毕业论文外文翻译,课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。