英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料
在模糊支持向量机上使用新的模糊隶属函数
摘要
众所周知，在解决分类问题的时候，使用合适的模糊隶属函数 ，可以有效的减少异常值的影响。在本文中，我们提出了一种模糊隶属函数用于非线性模糊支持向量机。模糊隶属值在特征空间中计算并由核函数表示。这种方法可以有效减少异常值的影响并且很大程度上提高分类的准确性和泛化能力。
关键词：支持向量机，模糊支持向量机，模糊隶属函数 ，二次规划
介绍
基于结构风险最小化（SRM）[1]的理论，Corets 和 Vanpnik等人提出了支持向量机（SVM）[2]。SVM算法因其在模式识别和 函数回归中的良好表现而广受关注。SVM的主要思想是寻找一个能将样本正确分类的超平面而且这个超平面间隔最大。如果这些类是线性可分的，那么这些类在输入空间中的表面是超平面，相反，这些类在特征空间的表面是超表面。因为这些方法是结构风险最小化的近似实现而不是经验极小化的实现。使用SVM进行分类的问题，可以被化为二次规划问题，二次规划问题可以用一些优化算法[1-3]来解决。
在使用传统SVM来解决两类分类问题时，训练集的每个点的权重都是相等的，而且每个点只被分成两类。然而，在许多现实世界中的问题，训练集存在噪音。而且，训练集的某些点可能会被意外地分错类。这些点就是所谓的异常值，并不完全属于某一类而且在不同类中有不同的隶属度。在这种情况下，因为传统SVM算法对异常值[4-6]十分敏感，导致决策边界严重偏离最佳超平面。为了解决这个问题，已经有几种方法被提出。在文献[7]中，提出一种利用类中心建立SVM的方法。在文献[8]中，基于对每个训练模式的自适应边缘的利用，开发了一个自适应边缘支持向量机。在文献[9]中，将原始输入空间映射到一个归一化特征空间，以提高噪声的稳定性。在文献[4]中，提出了一种优秀的支持向量机，来解决过拟合问题。模糊支持向量机[5]使用另一种方法来解决这个问题。这是基于SVM理论开发的。在模糊支持向量机中，每个样本的模糊隶属度表示该点对应某类的关系。样本的隶属度表明了该样本对决策平面的重要性。模糊隶属度越大，则该点对于决策平面越重要，因此，不同的样本点对决策面的学习重要程度不同。
在模糊支持向量机中，最重要的是对于给出的不同问题选择合适的模糊隶属度。在本文中，我们针对非线性支持向量机提出了一种新的模糊隶属度方程。我们在特征空间中计算模糊隶属度，并用核来表示他。我们会展示此方法可以有效的减少异常值的影响并且很好的提高分类的准确性和泛化能力。
支持向量机和模糊支持向量机和一用于解决二分类问题和多分类问题。本文提到的分类问题仅局限于二分类问题，然而本文所提出的方法同样可以应用于多分类问题。
本文组织如下：在第二部分，是对支持向量机和模糊支持向量机的简单回顾。在第三部分，是新模糊隶属度方程的细节描述。在第四部分，展示实验结果并显示该算法的的优点。最后在第五部分总结
2 SVM and fuzzy FSVM
在这个部分，我们会简单回顾解决分类问题的SVM和FSVM理论。
2.2 SVM
假设我们有训练集样本。每个都被标签分成两类。当样本线性可分时，SVM能够用最大间隔将其分成两类，并且不会出现错误的被分开的点。这个最大间隔可以通过解决下面这个二次规划问题得到： （1）
其中是权重向量，是偏项。对于非线性可分的问题，（1）中的约束是不可能解决的。因此，松弛变量被引入，来衡量违反约束的数量。二次规划问题如下：
（2）
其中是事先确定的参数，其定义违反约束的代价，越大意味对实验误差的惩罚越大。实际上，大多数问题并不是线性分类，因此非线性扩展是必要的。可以将输入变量映射到高维向量空间，并在这样的高维向量空间里进行线性分类。引入的映射函数必须满足Mercerlsquo;s的条件[10, 11]。在特征空间中的向量与原始空间中的向量相对应。为了解决QP问题，我们需要计算形式的标量积，而且我们并不需要知道的形状。为了方便，我们引入核函数。通过使用拉格朗日乘子法和核方法。我们能将QP问题重新写为
（3）
一些常用的核函数：polynomial，sigmoid和Gaussian 函数。
2.2 Fuzzy SVM
由Lin提出的模糊支持向量机器理论是以经典支持向量机理论为基础。在经典SVM中，每个样本都被平等对待；也就是说，每个输入点都被分配到两类中的一类。然而，在一些应用中，比如一些异常值的输入点，并不会准确的分到两类中的某一类，每个点都不会对决策平面的意义相同。为了解决这个问题，SVM的每个输入点引入模糊隶属度，这样就可以使不同的输入点对够造决策平面做出不同的贡献（参考Chun的论文）。假设训练集为 （4）
其中是训练样本，表示类标签，是要满足的模糊隶属度，其中而且要足够的小。设一个集合以来表示；很显然，该集合包括两类。其中一类时的样本点，用来表示：
另外一类时的样本用来表示：
很显然。
然后，对于分类的二次问题可以描述如下：
（5）
其中变量的意义不变。因为模糊隶属度是相关点对应某一类的姿态，而且参数是一种在SVM中的误差度量，可以视为衡量不同权重的误差度量。在问题（5）中，可以看到，越小，就越能减少参数的影响，也就是说相关点会被不那么重要的对待。解决问题（5）的方法和经典SVM相同，只有一点差别。总的来说，二次规划问题可以通过其的对偶问题[12]来解决。
对与不同的问题选择合适的模糊隶属度对于FSVM十分重要。在文献.Chun，用于减少异常值影响的模糊隶属度函数是根据每个数据点与其对应的类中心距离来计算，并且该函数用输入空间的参数表示。给出一系列的训练点（4），分别用和来表示类和。的半径是
（6）
类的半径为：
（7）
模糊隶属度为
（8）
其中为定值，是为了避免。
使用上面方法的隶属度函数的FSVM因为其平均算法能够得到很好的表现。在训练集中一些特殊的样本对最终的结果只有很小的贡献，并且异常值的影响会被采取平均算法的样本限制。
3针对非线性SVM的模糊隶属度方程
在这个部分，我们使用文献[5, 7]的想法，我们提出了一种新的模糊隶属度计算方法，这种方法相比于文献[5, 7]，更能有效的减少异常值r在非线性分类问题中的影响，并且提高分类的准确性。
对于给出的训练样本，对于输入空间通过映射函数映射到特征空间，然后核函数为 。我们在将定义为特征空间中类的中心：
（9）
其中 是样本中 类的数量。是特种空间中类的中心：
（10）
其中是样本中的数量。我们将的半径定义为：
（11）
的半径为
（12）
然后
（13）
其中 ， 是训练集样本的数量。同样 （14）
其中, ,是训练集样本的数量。
在特征空间中，样本与它的类中心之间距离的平方为：
（15）
同样，在特征空间里，样本与它的类中心之间距离的平方为：
（16）
对于每一个，提出的模糊隶属度可以如下描述：
（17）
其中 为了防止 。很显然，这是在特征空间里用核函数代替每个类的中心和半径的函数。
在用支持向量机求解分类问题时，训练样本可以是线性可分的，也可以是非线性可分的。在线性可分的情况下，可以在输入空间中计算分离面。在非线性情况下，利用线性分离法将输入空间映射到高维特征空间中计算分离面。在文献[5]中，当样本是线性或非线性可分时，用于减少异常值影响的模糊隶属度在输入空间中计算，见（6，7，8）
值得注意的是，在文献[5]中，当样本是非线性可分的时，模糊隶属度是在输入空间中计算的，而不是在特征空间中，那么，每个点对特征空间中超平面的构造的贡献就不能正确地表示出来。我们提出的新的模糊隶属函数，表示为（10），（11），（12），（13），（14），（15），（16）和（17），可以有效地解决这个问题。通过将输入空间映射到特征空间的映射函数来表示模糊隶属度，从而计算出特征空间中的模糊隶属度。另外，利用核函数，不需要知道映射函数的形状。该方法能更准确地表示每个采样点对特征空间中分离超平面构造的贡献。总之，使用这种新模糊隶属度函数的FSVM可以有效减少异常值的影响，并且具有更好的泛化能力。
4实验结果
为了证明该算法的有效性，我们将用人工数据和真实数据进行实验，比较在输入空间中计算的隶属度（如参考文献[5]（FSVM-1））以及新的模糊隶属度函数（FSVM-2）。
4.1人工数据实验
为了将实验结果可视化，我们在二维空间中随机生成一些具有给定离群点的样本来测试我们的方法。数据集中有130个点，其中选择90个点作为训练样本，其余40个点进行测试。在训练集中，46个点（包括5个离群点）属于一个类，其余44个点属于另一个类。我们想看看离群点对分离曲线的影响。采用两个核函数（RBF核和多二次核函数）和不同的正则化参数选择对FSVM-1和FSVM-2的性能进行了比较。用高斯RBF核对FSVM-1进行了实验，结果如图所示。图1、2、3和4以及使用相同内核的FSVM-2的图。5，6，7和8。
在这些图像中，星形表示类，十字架表示类，在十字架中的星形状表示的离群值。
网格区域和点区域的集合边界是类和类的分割线。网格区域和点区域分别是类和类的边距区域。
图1 FSVM-1 使用RBF核函数（宽度为2），C=10
图2 FSVM-1使用RBF核函数（宽度为2），C=100
图3FSVM-1使用RBF核函数核函数（宽度为2），C=200
图4 FSVM-1使用RBF核函数（宽度为2），长度1000
图5 FSVM-2 使用核函数（宽度为2），C=10
图6 FSVM-2使用RBF核函数（宽度为2），C=100
图7 FSVM-2 使用RBF核函数（宽度为2），C=200
图8 FSVM-2 使用RBF核函数（宽度为2），C=1000
表1列出了内核的参数选择，FSVM-1和FSVM-2的详细实验结果。在这些表中，第一列列出了算法的参数，第二列是支持向量的个数及其在训练集中的百分比，第三行和第四行分别列出了训练集的正确分类率和测试集的正确分类率。
表一 FSVM-1在数据集上使用RBF核函数（宽度为2）的实验结果
表二 FSVM-2在数据集上使用RBF核函数（宽度为2）的实验结果
我们可以在图1,2,3,4,5,6,7,8以及表格1,2中清楚的看到，尽管FSVM-1有效果，但是FSVM-2的效果比FSVM-1更好。把图1,2,3和4与图片5，6,7和8以及表1与表2相比，我们发现当超参数在10到1000变化时FSVM-2比FSVM-1的性能更加稳定，当值较大（）或者较小（）时，FSVM-1的性能显著降低；也就是说，在图1和图4中的决策边界严重偏离最优值，测试误差大和支持向量增加。然而，FSVM-2对值的敏感度较低，并且在值变化时保持较好的性能。
图9 FSVM-1使用多二次核函数（），C=10
图10 FSVM-1使用多二次核函数（），C=100
图11 FSVM-1使用多二次核函数（），C=180
图12 FSVM-1使用多二次核函数（），C=800
图13 FSVM-2使用多二次核函数（），C=10
图14 FSVM-2使用多二次核函数（），C=100
图15 FSVM-2使用多二次核函数（），C=180
图16 FSVM-2使用多二次核函数（），C=800
为了进一步评估FSVM-2的分类和泛化性能，我们再次将这两种基于多二次核函数的算法应用于该分类问题。图9,10,11和12展示了使用带有不同惩罚参数的多二次核函数FSVM-1的结果，图13,14,15和16展示了带有不同惩罚参数的FSVM-2.表3和表4是相应的详细结果。结果表明，使用的多二次核的FVSM-1和FSVM-2具有最好的泛化性能。这些实验反复说明FSVM-2对值不敏感，具有较好的泛化性能。实验结果表明，本文提出的新方法在降低异常值影响方面具有较好的性能。值得指出的是，新的模糊隶属函数的优点在于在训练前计算每个样本的隶属度时，其计算复杂度略高，因为新的隶属函数比文献[5]中的隶属函数复杂。
表3 FSVM-1在数据集使用多二次核函数（）的实验结果
表4 FSVM-2在数据集使用多二次核函数（）的实验结果
表5 三种算法在UCI MONK问题数据集的实验结果
4.2
要使用的数据集取自UCI存储库，可在http://www.ics.UCI.edu/上找到。从数据库中选择MO
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[409789]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
