英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料
多层感知器的极端机器学习
Jiexiong Tang, Student Member, IEEE, Chenwei Deng, Senior Member, IEEE,
and Guang-Bin Huang, Senior Member, IEEE
摘要
相对于广义单隐层前馈神经网络来说,极端机器学习（ELM）是一种新兴的学习算法，其中，隐藏的节点参数随机产生并输出权重是解析计算。然而，由于其浅的架构，对于天然信号（例如，图像/视频），使用ELM学习特征未必是有效的，即使有大量的隐藏节点。为了解决这个问题，本文提出了一种新的基于ELM-层次学习框架，提出了多层感知。该提出的结构分为两个主要部分：
1）自主学习的特征提取其次是监督功能分类
2）它们通过随机初始化桥接隐藏的权重。
本文的创新如下：1）无监督的多层编码的特性进行提取，并基于ELM-稀疏自编码显影通过l1约束。通过这样做，实现了比原来ELM更紧凑和有意义的功能表现; 2）由利用ELM随机特征映射的优点，该分级编码输出前随机预测最终的决策，这导致了较好的泛化具有更快的学习速度; 3）不同的是贪婪的逐层深度学习（DL）的培训，对隐藏层建议框架在向前的方式训练。一旦前面层的建立，当前层的权重被固定没有微调。因此，它比DL具有更好的学习效率。大量的实验表明，各种广泛使用的分类数据集显示，该算法达到比现有先进的分层学习方法更好更快地收敛。此外，多个在计算机视觉应用中进一步证实一般性
关键词：深度学习（DL），深神经,网络（DNN），极端机器学习（ELM），多层感知器（MLP），随机特征映射。
引言
在过去几年中，极端机器学习（ELM）[1]已成为一个越来越机器学习显著的研究课题和收稿2014年9月2日; 2015年修订后的4月19日;公认2015年4月19日，这项工作是由部分优秀支持在北京理工大学的青年学者研究基金格兰特2013YR0508和部分由国家自然科学基金根据格兰特61301090.中国的（通讯作者：邓谶纬）J.唐，邓C.与信息与电子学院，
科技，北京100081北京理工大学，中国（电子邮件：jiexiongtang @bit.edu.cn; cwdeng@bit.edu.cn）。G.-B.黄是电气与电子学院工程，南洋理工大学，新加坡639798（电子邮件：egbhuang@ntu.edu.sg）。的一种或多种本文中的数字的颜色版本可网上http://ieeexplore.ieee.org。数字对象标识10.1109 / TNNLS.2015.2424995人工智能，由于其独特的特点，即，速度极快的训练，良好的推广和通用逼近/分类能力。 ELM是对于单隐层前馈有效的解决方案网络（SLFNs），并已被证明具有优秀的学习精度/速度在各种应用中，如脸分类[2]，图像分割[3]，和人体动作识别[4]。不同于其他传统的学习算法，例如，背传播（BP）为基础的神经网络（神经网络），或支持向量机（SVM），隐层的参数榆树是随机产生的并且不需要被调谐，因此隐藏节点可以在训练前建立样品采集。从理论上讲，黄等。 [5]，[6]已经证明，与SLFNs随机生成隐蔽神经元和所述输出权由正规化至少调谐方保持其万能逼近能力，甚至而不更新隐藏层的参数。此外，解决正则最小二乘问题ELM更快比标准的二次规划问题SVM还是在传统的基于BP-神经网络梯度法。从而，
ELM趋于实现更快更好的泛化性能比那些神经网络和SVM的[1]，[5]，[7]。最近，ELM已被广泛研究，并卓越的贡献已在理论进行了两个和应用程序。 ELM的通用能力有了延伸到核学习，而且事实证明，榆树适用于广泛类型的特征的映射，而不是经典的那些[1]。提出了一种增量ELM在[5]，其中隐藏的节点被逐步增加和输出权重分析确定。 ELM有在一个在线顺序版本也被改造[8]，和原始数据可以输入一个接一个或块状bychunk固定或可变块大小（数据块）。Huang等[9]延长ELM两个半监督以及基于所述歧管正规化无监督的任务，与未标记或部分标记的样品都聚集使用ELM。然而，上述工作仍然面临着一些问题
与天然的场景（例如，视觉和听觉处理时信号），还是实际应用中（例如，图像分类，
语音识别，等等）。即，原来的ELM和/或及其变种主要集中在分类。然而，功能学习经常需要之前被进行分类在许多应用中。因此，多层的解决方案通常是必要的。 Kasun等。 [10]试图建立一个多层使用基于ELM-自编码作为学习它的架构积木。原输入被分解成多个隐藏层，和先前的层的输出被用作当前的输入端。该自编码在[10]是由层在分层只是叠层结构体。有人监督的最小均方优化之前，所编码的输出直接馈送到最后层决策，没有随机特征映射。
这个框架还没有很好利用的优势ELM理论，如黄等。 [5]已经表明，ELM的通用逼近能力不能得到保证没有的输入随机突起。因此，它很明显，在多层实施的电位的ELM尚未完全展开，并在进一步的研究基于ELM-多层感知器（MLP）急需，向着更快的训练速度和更好的功能和学习分类性能。同时，分层学习另一种领先潮流被称为深学习（DL）[11]，或深神经网络（DNNs）[12]。同样，深架构通过将提取的特征多层特征表示框架，具有较高的
层代表比那些从更抽象的信息较低的。但从概念点[11] - [15]，DL是BP学习与无监督的多层网络初始化代替传统的随机初始化。换句话说，DL-认为多层作为整体用无人监督的初始化，经过这样的初始化整个网络由基于BP-神经网络进行培训，所有的层被硬编码在一起。应当指出，所有在DL框架隐藏的参数需要进行微调多次，为整个系统。因而培训DL是太麻烦和费时。从上面的分析，现有学习看出算法（包括ELM基和DL-基于的）为总纲发展蓝图不能达到优良的推广性能与学习速度快。在本文中，灵感来自MLP理论，我们扩展了ELM并提出一个层次ELM（H-ELM）的业主有限合伙制的框架。建议H-ELM进一步提高的学习表现原来ELM，同时保持其优势培训效率。拟议工作的贡献是为如下。
1）一个新的基于ELM-自编码是通过开发
alpha;1 - 范数的优化。不像现有autoencoders在DL，即基于BP-神经网络中，输入权重用于
并建议ELM自编码的隐藏节点偏见通过搜索路径返回建立从随机的空间。的ELM理论在[5]具有证明了随机特征映射（几乎任何非线性分段激活功能）可以提供通用逼近能力，并通过这样做更重要的信息，可以利用隐藏层特征表示。与被比较在[10]beta;2 - 范数ELM自编码，这里的alpha;1罚应用产生更多的稀疏和有意义隐藏特征。
2）新的H-ELM框架，提出了一种有效的高效的MLP。所提出的H-ELM包括两个主要组分：a）无监督多层特征编码和b）监督功能分类。对于功能表示或提取，建议ELM稀疏自编码是利用，并且在每一层堆栈架构可被视为一个单独的部（或一个自治子系统/子模块）;对于功能分级，获得的高级特征是第一散由随机矩阵，然后原ELM施加最后的决策。注意
基于ELM理论[5]，高维非线性提取的特征变换，可进一步提高特征分类精度。此外，不同
从DL框架贪婪逐层学习，特征提取和分类是两个独立的在建议的H-ELM框架自主零部件，
并且不要求对整个参数微调通过系统的特征提取和分类相结合，因此训练速度可以更快
比传统的基于BP-DL。
3）为了证明所提出的H-ELM框架优点,，几个基于H-ELM-功能提取和分类算法开发对于实际计算机视觉应用，如对象探测，识别和跟踪。所得到的结果相当看好，并进一步确认的普遍性和H-ELM的能力。本文的其余部分安排如下。第二部分介绍了相关的作品，其中包括的基本概念和ELM的理论。第三节介绍所提出的H-ELM框架及其相关ELM稀疏
自编码。第四节比较H-ELM的性能与ELM和其他有关国家的最先进的MLP学习各种测试数据集的算法。第五部分提出了几个实际应用中掺入所提出的H-ELM，包括汽车检测，
手势识别，以及实时目标跟踪。最后，该得出结论在第六节
二．相关作品
在本文中，ELM是对MLPs的延伸。为了方便该算法的理解，本节简要回顾ELM的相关概念/理论，包括基本思想和原始ELM的能力和ELM-基于自编码。
A. ELM理论
假设以L隐藏节点SLFNs可以表示为下列等式：
------------- (1)
其中，GI（·）表示第i个隐藏节点的激活功能，ai为连接输入层到输入权向量第i个隐藏层，bi为第i个隐层的重量偏差，和beta;I是输出的重量。对于激活添加剂节点函数g，Gi被定义如下：
------- （2）
和径向基函数（RBF）与激活节点函数g，Gi被定义为定义如下：
------------- (3)
Huang等[5]证明，种种迹象都能够接近过任何紧集点macr;x路wisin;smith上述随机初始化的适应性或RBF节点任何连续的目标函数。让L2（x）是一个函数空间F上在d维欧几里得空间路，使得一个紧凑子组X | F |2是积，也就是说，。当u
，内积lt;u,vgt;定义
------------- (4)
在L2（X）空间的常态表示为||bull;||和网络函数f和目标函数f 度量由测量的距离
------------- (5)
定理2.1：给定任何非有界不断分段连续函数g，R→R，如果跨度在L2密集，任何目标函数和任何函数序列基于任何连续采样分布随机生成的，以概率1如果输出权重beta;I由普通最小二乘法来确定以尽量减少
上述定理[5]，[16]，[17]表明，随机与输出生成的网络由至少得到解决均方都能够保持通用逼近能力，当且仅当激活函数g是非恒定分段和span {G（A，B，X）：（A，B）isin;Rdtimes;R}是
能力，当且仅当激活函数g非恒定分段和span 是在L2222致密的。根据这个定理。ELM可以建立快速学习，这将在下面详细的进行说明。
B. ELM学习算法
根据定理2.1，ELM可以用随机初始化隐藏节点构建的。给定训练集,其中x是训练数据向量，t表示各样品的目标，和L表示隐藏的节点数量。
从学习的角度，不像传统的学习算法（见称为在[1][7]的相关著作），ELM理论旨在达到最小训练误差数目。
Minimize: ------------------ (6)
而且其中sigma;1gt; 0，sigma;2gt; 0，u，v =0，（1/2），1，2，...， infin;，H是隐藏层的输出矩阵（随机矩阵）
---------------- (7)
T是训练数据目标矩阵
-------- （8）
ELM训练算法可以被总结如下[1]。
1）随机分配隐藏节点的参数，例如，输入重量ai和偏差bi的添加隐藏节点，i=1,hellip;L
2）计算隐藏层的输出矩阵H
3）获得的输出的权重向量
----------- （9）
其中T =[t1，...，tN]T，H 是矩阵H的穆尔 - 彭罗斯广义逆, 正交投影方法可以有效地利用
对于MP逆的计算：H =（HTH）-1HT，如果HTH是无奇;或H = HT（HTH）-1，如果HHT
是奇异的。据岭回归理论，有人建议，一个正的值（1 /lambda;）被加入到对角线HTH或HHT的输出的计算权重beta;。通过这样做，根据[1]和[7]，将所得解决方案是等同于用ELM优化解决方案sigma;1=sigma;2= U = V =2，这是更稳定的，具有更好的泛化性能。即，在为了提高ELM的稳定性，我们可以有
----- ---- （10）
和ELM的相应的输出功能
----- ---- （11）
或者我们可以有
----- ---- （12）
和ELM ISD相应的输出功能。
----- ---- （13）
C.基于ELM自编码
除了基于SLFNs的ELM，自编码[15]作为某种在多层学习框架特征提取。它使用经编码的输出通过到近似原始输入最大限度地减少重建误差。在数学上，自编码映射输入数据x到一个更高的水平表示，然后通过使用潜表示y确定性映射,通过={A,b}参数化，其中g(.)是激活函数，A是一个drsquo;times;d权重矩阵,b是偏移矢量。然后将所得的潜表示y的映射回重构的向量z 在输入空间 其中。
图。1.建议H-ELM学习算法。 （a）H-ELM，其被分成两个阶段的总体框架：多层向前编码随后原有基于ELM-回归。 ELM-自编码的（b）自编码实现。 （c）H-ELM里面一个单层的布局。
采用随机映射输出作为潜在的代表Y，我们可以方便地构建基于ELM-自编码，如图[10]。然后，x的重建可被视为一个 ELM学习问题，其中Arsquo;是通过求解正规化最小均方优化得到的。然而，由于在原来ELM的l2的使用中，提取通过在[10]的ELM自编码功能往往是致密且可具有冗余。在这种情况下，更稀疏解决方案是优选的。
三、拟议的学习算法
在本节中，我们
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[31527]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
