关于深度神经网络结构的研究外文翻译资料

 2022-11-30 04:11

A Study on Deep Neural Networks Framework

Abstract—Deep neural networks(DNN) is an important method for machine learning, which has been widely used in many fields. Compared with the shallow neural networks(NN), DNN has better feature expression and the ability to fit the complex mapping. In this paper, we first introduce the background of the development of the DNN, and then introduce several typical DNN model, including deep belief networks(DBN), stacked autoencoder(SAE) and deep convolution neural networks(DCNN), finally research its applications from three aspects and prospects the development direction of DNN.

Keywords —deep neural networks; deep belief networks; stacked autoencoder; deep convolution neural networks

I.INTRODUCTION

Deep Neural Networks(DNN) is an important method for machine learning and has been widely used in many fields. DNN is inspired by structure of mammalian visual system. Biologists have found that mammalian visual system contains many layers of neural network. It processes information from retina to visual center layer by layer, sequentially extracts edge feature, part feature, shape feature and eventually forms abstract concept [1].

In general, the depth of DNN is greater than or equal to 4. For example, a Multilayer Perceptron (MLP) with more than 1 hidden layer is a DNN framework. DNN extracts feature layer by layer and combine low-level features to form high-level features, which can find distributed expression of data. Compared with shallow neural networks(NN), DNN has better feature expression and ability to model complex mapping[2]. However, due to the gradient diffusion problem caused by depth of DNN, DNN canrsquo;t carry out effective training. To solve this problem, in 2006, G. E. Hinton, the professor of the University of Toronto, proposed a weight initialization method. By unsupervised pre-training RBM layer by layer and initializing DNN with the weight learnt, the problem of training DNN got an effective solution[3]. DNN enters into a flourishing period. Through the introduction of several typical DNN models and its applications in various fields, readers can have a general understanding of DNN and its current study situation.

II.SEVERAL TYPICAL DNN MODEL

Frequently-used DNN model are mainly three types: Deep Belief Networks(DBN), Stacked Aoutoencoder(SAE),Deep Convolution Neural networks(DCNN).

A. Deep Belief Network(DBN)

DBN is a DNN model proposed by G. E. Hinton in 2006. It has no difference with MLP from the network structure, but DBN uses greedy layerwise algorithm based on RBM to initial weight matrix of DBN while MLP initials weight matrix randomly. Its training procedure is as follows [3]:

  1. Step 1: Pre-training
    1. make two adjacent layers as RBM and split DBN into several RBMs, as shown in figure1 pretraining.
    2. start from the bottom RBM and train it.
    3. use the last RBMrsquo;s output as the next RBMrsquo;s input and train the next RBM.
    4. repeat c) until all RBM training well, save weight matrix W.
  2. Step 2: Fine-tuning
    1. construct a reconstruction procedure for DBN, initialize it with WT matrix, as shown in figure1 finetuning.
    2. finetun DBN with BP algorithm using reconstruct error as object function, save new weight matrix W e.

Fig. 1. Training procedure of DBN.

After pre-training, by adding SVM, softmax to the top of DBN, it can be used for classification, prediction, regression tasks and so on. G. E. Hinton demonstrated DBN on MNIST handwriting recognition task and verified the DBN superior to feedforward neural networks[3]. Since DBNrsquo;s proposal, researchers do many improvements to it, such as Convolutional Deep Belief Networks(CDBN)[4], Sparse Deep Belief Networks(SDBN) [5]and so on.

B.Stacked Aoutoencoder(SAE)

On the basis of studying DBN, in 2007,Y. Bengio et al. proposed Stacked Autoencoder(SAE). Different with DBN, SAE is based on AE instead of RBM[6]. Their training procedure is as follows[6]:

  1. Step 1: Pre-training
    1. make two adjacent layers as AE and split SAE into several AEs, as shown in figure2 pretraining.
    2. start from the bottom AE and train it by minimizing its reconstruction error.
    3. use the last AErsquo;s output as the next AErsquo;s input and train the next AE.
    4. repeat c) until all AE training well, save weight matrix W.
  2. Step 2: Fine-tuning
    1. construct a reconstruction procedure for SAE, initialize it with WTmatrix, as shown in figure2 finetuning.
    2. finetun SAE with BP algorithm using reconstruction error as object function, save new weight matrix W e.

Fig. 2. Training procedure of SAE.

The same with DBN, SAE is trained with greedy layerwise algorithm, but itrsquo;s easier to train AE than RBM because AE uses reconstruction error as object function[6]. The same with the RBM, AE is an unsupervised self-learning neural network, so we can construct AE layer by layer to train it. In 2008, H. Lee et added sparse constraint to the object function, proposedSparse Autoencoder(SAE), which can learn sparse feature expression [7]. P. Vincent put forward Denoising Autoencoder(DAE), which mixed input data with some noise to improve the robustness of the network [8]. 2014, Wei Wang put forward Generalized Autoencoder(GAE), by utilizing relation between the different dimensions of the input data, achieved good result [9].

C.Deep Convolution Neural network(DCNN)

Convolution Neural networks(CNN) was proposed by Yan Lecun in 1989. It is a DNN model that can use BP Algorithm directly. A single layer CNN contains convoluti

剩余内容已隐藏，支付完成后下载完整资料

关于深度神经网络结构的研究

摘要——深度神经网络（DNN）是机器学习中一个很重要的方法，并已经在很多领域得到应用。和浅层神经网络（NN）相比，DNN具有更好的复杂映射的特征表达和适合能力。在这篇论文里，我们首先介绍DNN的发展背景，然后介绍几种典型的DNN模型，包括深度信念网络（DBN），堆叠自动编码器（SAE）和深度卷积神经网络（DSNN），最后从三个角度来研究DNN的应用并展望DNN的发展方向。

关键字——深度神经网络；深度信念网络；堆叠自动编码器；深度卷积神经网络

Ⅰ.介绍

深度神经网络（DNN）是机器学习领域的一种重要方法并且已经被广泛应用到很多领域。DNN的灵感来源于哺乳动物视觉系统的结构。生物学家发现哺乳动物视觉系统含有许多层神经网络。 它通过从视网膜逐层向视觉中心逐层提取边缘特征，局部特征，形状特征和最终形式抽象概念来处理信息[1]。

一般来说，DNN的深度大于或等于4。例如，具有超过1的多层感知器（MLP）隐层是一种DNN框架。DNN逐层提取特征层并联系低级特征，形成高层次功能，这样可以找到数据的分布式表达。与浅层神经网络（NN）相比，DNN具有更好的特征表达和建模复杂映射[2的]能力。但是由于DNN深度引起的梯度扩散问题，DNN不能进行有效的培训。为了解决这个问题，2006年，多伦多大学教授G.E.Hinton提出了一种权重初始化方法。通过无监督的逐层预训练RBM和初始化DNN与学习的权重，训练DNN的问题得到了有效的解决方案[3]。 DNN从此进入繁荣期。通过介绍几个典型的DNN模型及其在各个领域的应用，读者可以对DNN及其目前的研究有一个总体情况的了解。

Ⅱ.几种典型的DNN模型

经常使用的DNN模型主要有三种：深度信念网络（DBN），堆叠自动编码器（SAE），深度卷积神经网络（DCNN）。

  1. 深度信念网络（DBN）

DBN是G.E.Hinton在2006年提出的DNN模型。与MLP与网络结构没有任何区别，但是

DBN使用基于RBM的贪婪分层算法进行初始化DBN的权重矩阵，而MLP是随机初始权重矩阵。 其训练流程如下[3]：

  1. 第1步：预训练
  2. 将两个相邻的层作为RBM并将DBN分割成几个RBMs，如图1所示。
  3. 从底层RBM开始并开始训练。
  4. 使用最后的RBM输出作为下一层RBM的输入并训练下一层RBM。
  5. 重复c）过程知道所有RBM训练好，保存权值矩阵。
  6. 第2步：微调
  7. 构建DBN的重建过程，用矩阵初始化它，如图1所示。
  8. 通过BP算法微调DBN，使用重建误差作为对象函数，保存新的权重矩阵。

图1 DBN的训练过程

经过预训练后，将SVM，softmax添加到DBN高层，可用于分类，预测，回归任务等。 G.E.Hinton在MNIST上展示了DBN手写识别任务并验证了DBN优于前馈神经网络[3]。 自从DBN的提出，研究人员做了很多改进，如卷积深度信念网络（CDBN）[4]，稀疏深度信念网络（SDBN）[5]等等。

  1. 堆叠自动编码器（SAE）

2007年，在学习DBN的基础上，Y. Bengio等人提出了堆栈自动编码器（SAE）。 与DBN不同，SAE基于AE而不是RBM [6]。 他们的训练过程如下[6]：

  1. 第1步：预训练

a）使两个相邻的层作为AE并将SAE分割成几个AE，如图2所示。

b）从底部的AE开始，并通过最小化进行训练其重建误差。

c）使用最后的AE输出作为下一个AE的输入并训练下一个AE。

d）重复c）直到所有AE训练好，节省重量矩阵。

  1. 第2步：微调

a）为SAE构建重建程序，用矩阵初始化它，如图2所示。

b）通过BP算法微调SAE，使用重建误差作为对象函数，保存新的权重矩阵。

图2 SAE的训练过程

与DBN相同，SAE通过贪婪分层算法进行训练，但是训练AE比训练RBM更简单，因为AE使用重建误差作为对象函数[6]。 和RBM一样，AE是一种无监督的自主学习神经网络，所以我们可以逐层构建AE。 2008年，H.Lee等人将稀疏约束添加到对象函数中，提出了可以学习稀疏特征的稀疏自动编码器（SAE）表达[7]。 Vincent提出去噪自动编码器（DAE），其混合输入数据与一些噪声提高了网络的鲁棒性[8]。 2014年，王伟提出广义自动编码器（GAE）通过输入数据的不同维度之间的关系，取得了良好的效果[9]。

  1. 深度卷积神经网络（DCNN）

卷积神经网络（CNN）由Yan Lecun在1989年提出。它是一个可以直接使用BP算法的DNN模型。单层CNN包含卷积，非线性转换和池化三个阶段。

卷积：卷积核检测输入特征映射的所有位置并实现同一输入特征映射层的权重共享。 为了从输入特征映射中提取不同的特征，使用不同的卷积核。 对于个输入，使用个大小为的卷积核来进行卷积运算，获得个特征映射。它的表达如下所示。

（1）

其中，；*是二维离散卷积运算；是偏差参数。

非线性变换：为了卷积层的特征映射中的特征投射，通常选择非线性转换。 使用卷积层的特征映射作为输入，非线性映射如下如下。

（2）

其中，是卷积输出；是映射函数；是非线性转化输出。

常用的激活函数有sigmoid，tanh，ReLU等等。

池化：为每个特征图独立运行，通常使用平均池化或最大池化。这个操作的主要功能是降低分辨率和计算消耗。

CNN的权重共享大大减少参数和网络的训练成本，而且直接使用BP算法没有预训练大大加速网络的训练效率。 我们可以通过堆积CNN来得到深度卷积神经网络（DCNN）。

Ⅲ.DNN应用评估

A.语音识别

在传统的语音识别技术中，HMM-GMM（高斯混合模型）被广泛应用。因为它是一个浅层模型，随着DNN的发展，越来越多的人选择使用DNN。穆罕默德[10-12]将DNN应用于声学模型，使用DNN模型代替GMM模型，一直在各种语音识别任务中取得比HMM-GMM模型更好的效果。

杜宇提出了HMM-GMM-BN框架[13-15]，使用DNN提取瓶颈（BN）特征参数代替传统的HMM-GMM语音特征参数并训练HMM-GMM。实验结果表明基于HMM-GMM-BN的语音识别系统框架可以获得与HMM-DNN相当的性能。在16-17年，整流线性单位（Re LUs）的激活函数被用于替代HMM-DNN中的S形激活函数。结果表明，具有ReLUs的HMM-DNN变得更好性能。 O Abdel应用CNN进行声学建模语音识别。它提高了不同扬声器在声学模式[18-19]的鲁棒性。K He将CNN和ReLUs连接起来用它进行声学建模，识别的表现得到提高[31]。

Z Ling提出了HMM-RBM和HMM-DBN语音合成[20]。 这种方法可以保存光谱细节和减少合成语音的过度扁平化。 针对语音合成的特点，H Zen提出了多分布深度信念网络（MD-DBN）[21]，这是一种基于语音合成的DBN方法。 在MD-DBN中使用不同类型的RBM，它可以模拟频谱/俯仰特征和清晰/模糊的特征和估计音节的联合概率分布声学特征。Y Wang介绍了基于理想二进制时频掩蔽的方法估计[22]的语音强化，它将语音增强问题转化为估计理想的分类问题使用DNN的二进制时频掩蔽估计。

B.人脸识别和ILSVRC

人脸识别广泛应用于政府，军队和银行部门的安全问题，并有很大的前景。

通常，中国香港大学的深度ID[23]和Facebook的深度人脸[24]得到了正确率分别为97.45％和97.35％外（LFW）数据库，只略低于正确人的97.5％的识别率。然后深ID2 [25]改善表现为99.15％，优于所有深入学习算法或非深度学习算法。

Image Net大型视觉识别挑战（ILSVRC）是一个评估尺度图像分类和对象识别算法的国际大赛。每年有来自企业，研究所和大学的许多参赛队伍。

2012年，A.Krizhevsky首先将CNN应用于ILSVRC在图像分类和对象定位任务[26]中获得第一名。在ILSVRC-2013中，M.D.Zeiler改进了在[1]中提出的DCNN，在图像分类任务中获得第一名[27]。

在ILSVRC-2014中，几乎所有的队伍都使用CNN或其变形[]。 GoogLe Net团队将CNN和Hebbian理论相结合，在分类误差为6.7％的指定数据图分类组中获得第一;在多目标检测任务，NUS队使用改进的CNN网络网络（NIN）得到平均精度为37％[]获得第一。

在ILSVRC-2015，受高速公路网启发，来自微软亚洲研究院（MSRA）的团队提出了一个改进的RESNET，构建了152层RESNET，在三个任务[30]获得第一。从DNN首次在ILSVRC中使用并取得了良好的效果，到2014年，2015年几乎所有的队伍都使用深层次的学习方法，我们可以看到DNN相较于传统特征提取方法图像识别的巨大优势。

C.其他领域的应用

DNN也广泛应用于其他领域。 李帅提出了一种将DNN应用于合成孔径雷达闭塞图像特征提取的方法，正确利用全面的地方和全球的目标的结构信息[31]来提高识别率。 曹磊将DNN应用到卫星轨道预测，并建立了基于DNN模型的混合动力来提高卫星的准确性轨道预测[32]。 毛存丽将DNN应用到有色金属实体识别领域，使用去噪自动编码器（DAE）逐层训练DNN，有效地解决了在有色金属实体领域识别任务的特征提取问题[33]。

Ⅳ.几种典型的DNN模型

本文概括了DNN发展的背景，几种典型的DNN模型和DNN的应用。 DNN的发展促进了每个涉及机器学习的领域的发展，但是DNN的发展还处于起步阶段，还有很多问题还没有解决。

更好的DNN结构：传统的DNN是一堆单一的层神经网络。 [30]提出了Resnet，修改DNN结构以获得良好效果。 DNN的结构对DNN性能影响很大。

更好的算法：贪心算法本质上是一种权重矩阵初始化方法，而且算法的核心仍然受BP主导，BP算法的局限性依然存在。

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[25645]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

原文和译文剩余内容已隐藏，您需要先支付 30元 才能查看原文和译文全部内容！立即支付

以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章