柯西主成分分析
原文作者 Pengtao Xie amp; Eric xing 单位 Carnegie Mellon University
专业 信息与计算科学 学生姓名 方海瑶 指导老师姓名：张慧增 摘要：主成分分析（PCA）已经广泛应用在机器学习，文本挖掘和计算机视觉。经典的基于主成分分析的高斯噪声模型是脆弱的幅度很大的噪音。基于PCA方法拉普拉斯噪声假设不能处理密集的噪声。在本文中，我们提出了柯西主成分分析（PCA，柯西）一个非常简单而有效的方法方法是各种类型的噪声的鲁棒性。我们利用柯西分布模型噪声和获得柯西PCA下的最大似然估计（MLE）的低秩约束的框架。我们的方法可以稳健估计低秩矩阵无论噪声是大还是小，密集或稀疏。我们从稳健统计的角度分析柯西的鲁棒性，提出了一种PCA有效奇异值投影优化方法。实验结果模拟数据和实际应用证明了柯西的鲁棒性PCA的各种噪声模式。
关键词：柯西主成成分分析，模拟数据，最大似然估计
- 引言
主成分分析和相关子空间学习基于矩阵分解技术已广泛用于降维，数据压缩，图像处理，特征提取和数据可视化。众所周知，基于主成分分析的高斯噪声模型（即，高斯PCA）是大幅度的噪声非常敏感，因为大的噪声的影响被夸大了的高斯分布的使用引起的损失。对于强大的PCA,很多科学家都对其进行了大量的改进。大体上，这些方法可以分为非概率模式和概率模式根据他们是否是建立在概率的假设的噪声。此方法使用的非概率鲁棒的P的平方损失函数在质量的每个数据项根据其健身的空间，或尽可能去估计协方差矩阵的，并试图删除或由另一方面与大样本下加权噪声损坏。这样一个非概率范式使它困难的，如果可能的话，利用一些工具的复杂的概率模型，如PCA的贝叶斯处理提供，概率PCA和概率矩阵分解的混合物，不便于统计测试或与其他概率技术的比较。
概率鲁棒PCA方法来自取代高斯假设的噪声与拉普拉斯假设或t-分布假设。 拉普拉斯分布和重尾分布可以合理地解释数据远离平均值，因此适用于大幅度尖刺噪声建模。然而，这些方法存在的新问题。拉普拉斯PCA的一个主要缺点是，它不能应付密集的噪声。这是因为一个拉普拉斯分布和所得结论规范将导致在解决稀疏性，从而错误地使用稀疏密集的噪声模型来解释。t分布可以避免拉普拉斯分布和高斯分布的缺点。概率鲁棒PCA采用t分布假设代替高斯噪声假设。在实践中，我们发现他们的方法有非常相似的性能，高斯PCA和大的噪音更糟糕的工作比拉普拉斯PCA。
在我们看来，数据噪声大致可分根据它们的数量和大小为四种模式：稀疏的噪音小，稀疏的噪音大，噪音小，密密集噪音大。高斯PCA是有限的，只适合小的噪声和拉普拉斯PCA只适合稀疏噪声。当噪声是大型和密集，这两PCA方法不将足够了。在现实中，密集的大噪音是很普遍。例如，在基于分解运动结构（托马西和Kanade，1992），由于恶劣的照明，快速光流，闭塞，和跟踪算法的不足，严重的使人心烦意乱的功能是很常见的。在照片共享网站（如Flickr，Instagram），许多用户生成的标签的图像和图像中的许多对象和属性无关的未标记的用户。因此，相当多的假阳性和假阴性存在的数据。采用低成本的摄像头的移动设备的普及，数以百万计的用户生成视频发布到视频共享网站如YouTube。由于捕捉率高，弱光条件和用户的不专业的视频捕捉的习惯，通常与总噪声的影响几乎每个像素的污染，尤其是当视频被在夜间或快速移动的车辆。另一方面，在许多问题上，混合噪声模式。的低秩矩阵的大多数作品都受到噪音小，一小部分是由大的噪声污染是很常见的。高斯PCA和拉普拉斯PCA并不适用，在这种情况下，因为他们不能够处理的两种类型的噪声的同时。周等人。（2010）提出的稳定的主成分的追求，恢复矩阵的入门小聪明的噪声和毛稀疏错误损坏。然而，他们的方法要求噪声小的大小的一个很好的估计，这在许多实际应用中是不可行的。
在本文中，我们提出了一个替代的概率鲁棒PCA ，PCA方法称为柯西，这是各种噪声的鲁棒性模式。我们使用柯西分布模型噪声和获得柯西PCA的最大似然估计的秩约束下的框架。我们提出了一个简单而有效的梯度投影优化方法。实验结果表明，PCA鲁棒性柯西各种噪声模式，特别是在处理大型密集的噪声，其优越的性能。
本文的其余部分安排如下。2部分介绍了相关的工作。柯西在3部分提出了PCA。第4部分给出了对模拟数据和真实数据的实验结果。5部分为本文的结论。
- 相关工作
鲁棒PCA方法可分为两种范式：非概率的方法和概率的方法。非概率方法的基本策略是消除或降权的大噪声的影响被损坏的数据项。有人提出了鲁棒的子空间学习的更换平方损失函数在PCA与杰曼-麦克卢尔误差函数是大的噪声不敏感，使用迭代加权最小二乘法（IRLS）解决问题的方法。并提出了一种旋转不变范数的PCA，其主要成分是一种加权的协方差矩阵的特征向量，使样品损坏的噪声大。布鲁贝克（2009）估计的子空间或者消除极端值投影到低维子空间。这些方法缺乏建立或复杂的概率模型的整合能力。
在概率的方法，一种流行的家庭是基于拉普拉斯噪声假设和范数。克和奏（2005）提出了一种矩阵分解公式范数作为交替的凸优化求解器。在概率的方法，一种流行的家庭是基于拉普拉斯噪声假设和`范数。克和奏（2005）提出了一种矩阵分解公式`范数作为交替的凸优化求解器。（2009）提出的主成分的追求（PCP）恢复低秩矩阵的任意大幅度的疏误损坏。他们证明，如果噪声是足够稀疏和下面的子空间的秩是足够小，低秩矩阵可以完全恢复。（2010）广义的维贝格算法解决的存在丢失数据基于范数的矩阵低秩逼近问题。所有这些规范（拉普拉斯噪声的假设）为基础的方法无法处理密集的噪声。（2010）声称，通过选择一个适当的权衡参数的值，主成分的追求也是密集的噪声鲁棒性。然而，在实践中发现，他们的建议的方式选择参数产生的效果很差。
图1：密度曲线的高斯，拉普拉斯，Logistic回归分析和柯西分布的随机变量X的所有不同范围曲线对齐，可达到零和共享相同的峰值。
- 成立了一个额外的术语为PCP模型考虑到小密集的噪音，但仍然无法处理大量密集的噪声。（2010）制定了类似的问题。（2009）通过施加确定完全损坏的点；2范数对噪声矩阵。他们的方法假定的低秩矩阵的列级的腐败和不适用于入门级的腐败。
另一个系列的概率PCA方法是基于t分布。有人假设观测数据是衍生于y = Wx u n，其中是在一个低维空间的一个特征向量，是投影矩阵，是数据偏移和是噪声分布绘制。他们利用t分布是高斯分布具有相同的均值和变变化无限的混合料的性能，提出了一个期望最大化（EM）算法来推断潜在向量X和学习参数W和u，这些方法对噪声比较小的高斯PCA，对于大的噪音，他们工作略优于高斯拉普拉斯PCA 并且比PCA差远了。
- 柯西的主成分分析
在这一部分中，我们首先提出的位置规模的家庭的分布，并显示他们如何可以用来获得PCA方法。然后提出一些直觉选择柯西分布模型，通过比较它与噪声密度曲线中的位置规模系列的其他分布。我们以专业的一般的位置规模系列主框架与柯西分布柯西介绍PCA，解释其鲁棒性的鲁棒统计观点和提出了一个有效的奇异值投影求解。
3.1 PCA的算法分析
位置规模系列是一类由位置参数和尺度参数的参数化分布。这个系列最重要的特性是分布的封闭的线性变换。如果x是属于这个系列的一个随机变量，然后ax b也是来自于这个系列。这个属性模型的加性噪声提供了方便。在PCA设置，假设每个输入噪声矩阵E是独立同分布的位置尺度分布系列：
（1）
位置参数和尺度参数为零。根据闭合曲线的线性变换的性质和添加噪声公式M = L E，观察矩阵M，你可以得到模型，如：
（2）
与转移位置参数，L可以被最大化的可能性估计观测(或者减少负位可能性)与降低等级限制：
（3）高斯PCA和拉普拉斯PCA特殊情况的一般框架通过指定分布在公式(1)分别为高斯拉普拉斯分布。
3.2柯西PCA
图1显示了单位变量高斯密度曲线,拉普拉斯,物流和柯西分布。使一个清晰的比较,密度曲线是一致的同一位置和峰。目的是调整他们的山峰是检查一个有趣的现象:如果我们把相同数量的概率分布的模式,有多少概率将各自分布为其他值分配吗?这可以给我们一个好的heavy-tail-ness的感觉。随着数据点远离中心,高斯概率迅速下降为零而拉普拉斯和柯西概率保持一定数量如图1所示(b)。换句话说,拉普拉斯和柯西密度曲线比高斯曲线有较长的尾巴。与重尾分布(集中在零)分配一个合理数量的概率在远离零值。概率下的噪声建模框架,大的噪音可以合理地解释了重尾分布一定的概率是授予他们。因此,拉普拉斯PCA和柯西PCA自然拥有的能力处理由于heavy-tail-ness大噪声。在零位置(图1(c)),拉普拉斯分布不是可微。不平滑属性导致稀疏,这使得拉普拉斯分布模型不适合密集的噪音。物流分布高度类似于高斯分布的形状除了稍重的尾巴。因此其行为建模噪声应该非常类似于高斯分布。在四个,柯西分布拥有两个吸引人的优势。首先,它光滑为零,不诱发稀疏,因此适用于建模密集的噪音。第二,它有一个比其他的重尾,因此,它是高度的建模能力大的噪音。
我们使用柯西分布位置参数零模型噪声E：
（4）
尺度参数所在的位置可以替换成公式(1),我们一般将位置规模系列专门化为柯西主成分分析PCA框架：
（5）
柯西主成分分析可以自然地扩展来处理缺失数据。我们使用 = 1表示,第i个行和j个列的条目M是观察,否则= 0。我们以下数据的可能性最大化：
（6）
重量相当于引入0 - 1矩阵权重每一项在公式(5)。
3.3鲁棒的统计解释
在本节中,我们解释柯西PCA的鲁棒性从一个健壮的统计视图。鲁棒统计寻求提供健壮的总值估计反对的声音。符合3.1和3.2节,我们位于零假设分布和参数估计使用最大似然估计(标定)。为一组分布上定义F和估计量T定义F,(1974)介绍了影响功能:定义1。影响函数(如果)T在F是给定的通过以下公式：
(7)
在中,这一限制存在。
试探性的，影响函数描述了无穷小污染的影响在x的估计。基于(1974)定义的过失误差灵敏度:
算法1:柯西主成分分析的投影梯度下降。
输入:M，k，; 公差 ;步长
初始化：
Repeat
计算k奇异值和的向量
Until
算法2：F 、T的过失误差灵敏度是衡量是通过以下模型：
（8）
上确界所有x被代替当IF存在时。
过失误差灵敏度措施影响最严重,少量固定大小的污染可以估计量。一个理想的鲁棒估计应该是有限的。
推论1：柯西和拉普拉斯的标定是有界的。高斯的标定估计量是无限的。
推论1解释了为什么柯西和拉普拉斯PCA是鲁棒性质的总噪声,高斯PCA不是。
另一个数量局部移动灵敏度的(Hampel,1974)定义来衡量对估计的影响通过观察略从一点转移到一些邻近的点。
算法3：局部移动灵敏度的估计量被定义为：
（9）
一个稳定和鲁棒性的估计应该较低。
推论2.柯西和高斯的自动标定估计量是有界的。拉普拉斯自动标定估计量是无限的。
3.4优化
推论2中,我们可以看到拉普拉斯估计量是非常敏感的地方转移为零。柯西自动标定估计有界过失误差的敏感性和有界局部移动敏感度。因此,鲁棒的总噪声和地位置在零附近。
我们采用投影梯度下降法来解决在公式(5)这个问题的定义。它是一种迭代方法,在每个迭代中包含梯度更新和投影操作。算法1列出了优化方法。从低秩矩阵L估计初始化到M观察测量在每个迭代中,我们首先计算梯度矩阵G,然后使用G更新L .这是普通的梯度下降的步骤。然后我们项目新获得L可行集(L)k。投影是通过计算最大的奇异值k 和奇异向量L:，然后重建L:。注意,在预测阶段,我们只需要计算奇异值k及其对应的奇异向量,可以有效地完成了兰索斯奇异值分解算法。注意,不是凸优化问题和可能会出现局部最优。这是运行算法多次与不同的随机初始化是很有帮助的。
图2:矩阵恢复在各种噪声模式。矩阵的第一行与噪声级m = 0.1损坏。在第二和第三排,分别m = 1和10。矩阵的第一列是大小n = 500。n = 1000,
剩余内容已隐藏，支付完成后下载完整资料
英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[287057]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
