使用局部二进制模式的脸部描述:应用人脸识别外文翻译资料

 2022-06-04 11:06

Face recognition under unconstrained environments has become increasingly important due to the broad prospect in real-world applications. In order to counter uncertainties imposed by faces captured in such unconstrained imaging situations, a robust, discriminative and computationally efficient feature selection scheme is of paramount significance. In this regard, bio-inspired feature selection methods have been exploited due to their sophisticated ability, flexibility and adaptability. However, their performances tend to deteriorate severely in large-scale domains such as face recognition due to the premature convergence problem. In this paper, high-dimensional LBP features are extracted from face images and fused with Gabor wavelet features using Canonical Correlation Analysis (CCA). To further enhance the discrimination power of the facial representation and to alleviate the curse of dimensionality, a novel membrane-inspired feature selection approach is proposed, where a Binary Bat Algorithm (BBA) under the framework of Membrane Computing (MC) is employed. Inherent parallelism and non-determinism are two distinguishing characteristics of MC that can help in maintaining the diversity of population and balancing the exploration–exploitation trade-off. In the proposed membrane-inspired BBA (MIBBA), the structure as well as the evolution, dissolution and communication rules of MC are integrated into the BBA to enhance the trajectories of bats. Furthermore, the Great Deluge Algorithm (GDA), is integrated into the skin membrane to further improve its exploitation ability. Experimental results show that the proposed approach yields competitive recognition rates and outperforms well-known state-of-the-art methods on three benchmark databases (AR, LFW and GBU). Further experimental evaluations justify the ability of the proposed approach to handle the small sample size problem.

introduction

Due to the non-intrusive nature, human analogy and universal applicability, Face Recognition (FR) has been gaining tremendous attention from the biometrics community in the last few decades. After years of progressive development, FR approaches have attained impressive results under controlled laboratory conditions. However, the recognition performance is dramatically reduced when the face images are captured under unconstrained settings or the so called lsquo;lsquo;faces in the wildrsquo;rsquo;. In this context, many ingenious approaches have been formulated to enhance the robustness of unconstrained FR systems by employing complementary and over-complete feature descriptors. Over-complete representation can be obtained either by fusing different descriptors or by extracting multi-scale features from dense facial landmarks. Theoretically, with the use of large number of features, more discriminating power can be gained; however, practically, this is rarely the case. The high dimensionality would not only affect the recognition accuracy, but also can impose computational constraints. Hence, employing a feature selection is essential for eliminating redundant and irrelevant features so as to provide highly discriminating feature representation. Interestingly, bio-inspired approaches exhibit special characteristics which enable them to complement traditional FR methods. First, their adaptive nature enables the development of real time FR models. Second, bio-inspired methods have the capability of providing a robust platform to effectively recognize data which can be noisy, partially occluded, or inaccurately located. Finally, bio-inspired approaches have a massively parallel architecture that can be exploited to deal with the curse of dimensionality. The integration of biologically motivated algorithms in FR models has been emerging owing to their intelligent problem solving ability, flexibility and scalability.

Bat Algorithm (BA) is a meta-heuristic optimization approach which takes its inspiration from the echolocation characteristics and foraging behavior of bats. Similar to other optimization techniques, BA has shown good performance in small or medium sized search problems. However, it still encounters serious problems in large scale domains. In such cases, the key shortcomings of BA are the risk of being trapped in local minima (premature convergence) and the slow convergence. In this context, striking a balance between exploration and exploitation is essential to cope with such limitations. BA algorithm mimics the echolocation behavior of bats that typically involves inter- action between different bats in the swarm. In order to enhance the performance of such interactions and to improve the trajectories of bats, the structure, communication topologies and evolution rules of membrane computing will be incorporated in BA.

Membrane Computing (MC) is a fast growing area of research which takes its inspiration from the subdivisions of biological cells into com- partments delimited by membranes. MC possesses several features including maximal parallelism and the locality of interactions. Recently, a promising research discipline of membrane computing, that aims at exploring the possible interactions between evolutionary computation and membrane computing, has been launched. These hybrid algorithms are known as Membrane- Inspired Evolutionary Algorithms (MIEA). MIEA exploit the concepts and principles of metaheuristic search algorithms and the hierarchical or network structures as well as the rules of membrane systems.

In this paper, two mechanisms have been proposed to improve the recognition accuracy. Firstly, uniform Local Binary Patterns (LBP) fea- tures are extracted from multi-scale image patches located at predefined facial landmarks to generate High Dimensional LBP (HDLBP) features, which in turn, are combined with Gabor features using Canonical Correlation Analysis (CCA) to empower the discriminating capability of the facial representation. Secondly, to further enh

剩余内容已隐藏,支付完成后下载完整资料


使用局部二进制模式的脸部描述:应用人脸识别。

1.介绍

人脸检测、人脸识别、人脸表情识别等人脸识别技术已经成为计算机视觉研究的一个非常活跃的课题。面部分析的一个关键问题是如何找到有效的面部特征描述。不同的整体方法,如主成分分析(PCA)、线性判别分析(LDA)和最近的2-D PCA已经被广泛研究,但最近由于其对姿态和光照变化等挑战的鲁棒性,也引起了局部描述符的注意。本文提出了一种基于局部人脸区域的局部二值纹理特征的描述。

基于局部区域信息提取的第一个人脸描述符是Pentland等人提出的特征特征方法。这是一种混合的方法,在这种方法中,特征是通过将PCA独立地执行到局部面部区域获得的。在局部特征分析中,利用局部空间支持的内核提取局部面部成分信息。弹性束图匹配(EBGM)描述了在某些人脸标志中使用Gabor滤波器响应的人脸,以及描述这些地标空间关系的图形。由Heisele等人进行的研究也验证了基于组件的方法的有效性,在该研究中,基于组件的人脸识别系统在测试数据库中明显优于全局方法,而测试数据库中包含的人脸则是在深度上旋转的。

在更一般的背景下,使用局部光度特征来识别物体,已经成为一种被广泛接受的方法。在这种设置中,典型的方法是检测图像中的兴趣点或兴趣区域,对仿射变换执行标准化,并使用局部描述符描述规范化的兴趣区域。这种关键的点方法并不适合于脸部描述,因为它不保留检测到的局部区域的空间设置的信息,但它确实与基于局部特征的脸部描述有一定的相似性。

为局部面部区域的出现寻找好的描述是一个开放的问题。理想情况下,这些描述符应该易于计算,并且具有较高的额外类方差(即。,在人脸识别的情况下,不同的人之间的差异,这意味着描述符在受试者的老化、交替照明和其他因素方面应该是健壮的。

纹理分析社区为图像补丁的出现开发了各种不同的描述符。然而,人脸识别问题并没有与纹理分析领域的进展相关联,因为它并没有从这样的观点中得到验证。最近,我们通过本地二进制模式特征研究了人脸图像的表达方式,并在ECCV 2004会议上发表了出色的结果。在此之后,一些研究小组采用了我们的方法。在本文中,我们将对所提议的代表性进行更详细的分析,并提出额外的结果并讨论进一步的扩展。

2.基于局部二进制模式的人脸描述

LBP运算符是性能最好的纹理描述符之一,在各种应用中得到了广泛的应用。它具有高度的辨别力和关键的优点,即其不变性,单调的灰度变化和计算效率,使其适合于要求图像分析任务。有关lbp相关研究的参考书目。

使用LBP进行脸部描述的想法是基于这样一个事实,即面部可以被看作是微模式的组成,而这些微模式是由这样的操作人员所描述的。

A.局部二进制模式

局部二进制模式最初是为纹理描述而设计的。运算符将每个像素的3x3邻域与中心像素值进行阈值化,并将结果作为一个二进制数来赋值给图像的每个像素。然后,标签的直方图可以用作纹理描述符。请参见图1,以了解基本的LBP操作符。

为了能够处理不同尺度的纹理,LBP操作人员后来被扩展到使用不同尺寸的社区。将局部邻域定义为一组采样点,在以像素为中心的圆上均匀间隔,以允许任意半径和采样点个数。当采样点不落在像素中心时,使用双线性插值。下面是符号(P;R)将用于像素邻域,这意味着在R的半径范围内的P采样点,如图2所示为圆形区域的例子。

对原始运算符的另一个扩展是所谓的统一模式的定义。如果二进制模式最多包含两个位,则本地二进制模式称为统一模式。

当位模式被考虑为循环时,从0到1或反之亦然。例如,模式00000000(0转换)、01110000(2个转换)和11001111(2个转换)是一致的,而模式11001001(4个转换)和01010011(6个转换)不是。在计算LBP直方图时,使用了统一的模式,这样直方图就有了一个单独的箱子,每个统一的图案和所有非均匀的图案被分配给一个箱子。Ojala等人注意到,在使用纹理图像的实验中,当使用(8,1)邻域和(16、2)邻域的约70%时,u2统一模式在所有模式中占不到90%。我们发现,在(8,1)社区中90.6%的模式和85.2%的模式在(8,2)社区都是统一的,以处理前处理的FERET面部图像。

我们对局部二进制模式使用以下符号:LBPP;R。下标表示在a中使用运算符(P;R)附近。上标u2代表只使用统一的模式。

B.用局部二进制模式进行人脸描述

在此工作中,在前一小节中提出的LBP方法用于面部描述。该过程包括使用纹理描述符来构建几个本地描述,并将它们组合成一个全局描述。这种方法的动机不是为了整体描述,而是基于两个原因:基于局部特征的或混合的人脸识别方法近来获得了兴趣,这是可以理解的,因为整体陈述的局限性。这些局部特征和混合方法似乎比整体方法更能抵抗体式或照明的变化。

选择基于局部特征的方法的另一个原因是,尝试使用纹理方法来构建脸部的整体描述是不合理的,因为纹理描述符趋向于平均在图像区域。对于一般的纹理来说,这是一个理想的属性,因为纹理描述通常是不固定的,甚至是纹理的旋转,特别是对于小的重复纹理,小的关系决定了纹理的外观,因此大规模的关系不包含有用的信息。然而,对于面孔来说,情况是不同的:保留有关空间关系的信息是很重要的。

这种推理导致了这项工作的基本方法学。将人脸图像分割为局部区域,分别从各区域提取纹理描述符。然后将描述符连接起来,形成面向全局的面部描述。图3为一个面部图像的例子,我将其划分为recta gular区域。

基本的直方图可以扩展到一个空间增强的直方图,该直方图编码了面部区域的外观和空间关系。作为m面部区域R0;R1;:Rm 1已经确定,一个直方图是在每个m区域内独立计算的。由此产生的m直方图是co - bined di g的空间增强直方图。空间增强直方图的大小为m n,其中n为单个LBP直方图的长度。空间增强的直方图,我们有效的描述在三个不同的地方:直方图的枸杞多糖标签包含的信息模式进行像素级,标签是求和生产信息在区域层面上的小区域和区域直方图连接建立一个全球面临的描述。

需要注意的是,在使用基于直方图的方法时,尽管图3中有示例,区域R0;R1;::Rm 1不需要是矩形的。它们也不需要具有相同的大小或形状,它们也不一定要覆盖整个图像。例如,它们可以是位于像EBGM方法中的fiduci al点的圆形区域。也可能有部分重叠的区域。如果考虑到在深度上旋转的人脸识别,那么遵循Heisele等人的程序可能是有用的,并且可以自动检测图像中的每个区域,而不是先检测人脸,然后将一个固定的区域划分到区域中。

在定义抗差措施时,可以进一步利用空间增强直方图的概念。所建议的面部描述方法的一个固有属性是,增强直方图中的每个元素对应于脸的某个小区域。基于心理物理研究结果,表明一些面部特征(如眼睛)在人脸识别中扮演的角色比其他特征更为重要,可以预期,在这种方法中,一些面部区域在额外的个体差异方面比其他区域贡献更大。利用这一假设,区域可以根据所包含信息的重要性进行加权。例如,距离可以定义为:w2(x; )the= Xweightedj;iwj(xxi;ji;jChi squarei;ji;j)2。

  1. 实验分析

我们的方法是利用科罗拉多州立大学人脸识别评估系统和来自FERET数据库的图像来评估人脸识别问题。使用PCA、贝叶斯内部分类器(BIC)和EBG M作为控制算法。

A.实验设置

为了确保测试的可重复性,利用公开可用的CSU人脸识别评估系统来测试所提出的算法的性能。该系统使用FERET人脸识别算法,并进行FERET测试程序,稍作修改即可应用于半自动人脸识别算法。

FERET数据库由总共14051个灰度图像组成,代表1199个个体。图像包含光照,面部表情,姿态角等变化。在这项工作中,只考虑正面。这些面部图像可以被分成以下五组:

fa集,用作一个画廊集,包含1196人的正面图像。

fb set(1195张图片)。受试者被要求替代面部表情的时间超过了fa照片。

fc设置(194图像)。照片是在不同的照明条件下拍摄的。

我设置了dup(722图像)。照片是在晚些时候拍摄的。

dup II集(234张图片)。这是包含那些在相应的图库图像后至少一年拍摄的图像集合的子集。

除了等级1的识别率外,还有两个统计指标用于比较算法的性能:95%置信区间的平均识别率和一种算法优于另一种算法的概率。一个算法超出另一个算法的概率由P(R(alg1)gt; R(alg2))表示。这些统计数据是通过排列图库和探针组来计算的,详情请参阅。 CSU系统带有PCA,LDA,BIC和EBGM人脸识别算法的实现。用PCA,BIC和EBGM得到的结果包括在这里作比较。

可以选择一些参数来优化基于LBP的算法的性能。这些包括选择LBP操作员的类型,将图像分成区域R0; :::; Rm 1,为最近邻分类器选择距离度量,并找出加权统计的权重wj(Equationu2 1)。为了找到所提出的方法的参数的详细实验在下文中详细描述。

B.LBP方法的参数

在寻找最佳窗口大小和LBP2操作符时,注意到LBP。

对于参数s2的选择,表现相当健壮。参数的变化可能会导致特征向量长度的巨大差异,但总体性能不一定会显著影响。在这里,我们选择了18 21像素窗口中的2个操作符,因为它是识别性能和特征向量长度之间的一个很好的权衡。在比较不同的距离测量方法时,发现该测度比直方图相交或对数似然距离好。因此,选择了该措施。

为了找到加权统计的权重wj(公式1),采用了一种简单的方法,将训练集分类为一次只使用一个o f(18 21个窗口),并根据识别率分配窗口的权重。

所得到的权重如图4 (b)所示。权重是在不使用实际优化过程的情况下选择的,因此它们可能不是最优的。尽管如此,与非加权方法相比,在处理时间和识别率(P(R(加权)gt; R(非加权)=0.976)中得到了改进。

C.局部二进制模式和其他局部描述符的比较

获得更好的理解是否得到识别结果是由于大意计算面部纹理特性,从本地区域或由于歧视性的局部二进制模式操作符的力量,我们比较枸杞多糖对其他三个纹理描述符,即灰度差直方图,均匀纹理描述符和texton直方图的一个改良版本。这些实验的细节可以在里面找到。

不同描述符获得的识别率如表1所示。应该注意到,本实验中没有使用局部区域的权重。结果表明,所测试的方法与最简单的fb探头集很好地工作,这意味着它们对面部表情的变化具有较强的鲁棒性,而fc探针的结果表明,其他方法比LBP在光照条件下不存在变化。LBP和texton给出了在dup I和dup II测试集的最佳结果。

我们认为,在其他纹理描述符上,对本地二进制模式操作符更好性能的主要解释是它对单调灰度变化的容忍。在将LBP算子应用于人脸图像之前,其计算效率为LBP算子的计算效率,且不需要灰度规格化。

D.人脸识别数据库的结果

该方法的最终识别结果如表2所示,秩曲线如图5所示。在所有的FERET测试集和统计测试中,LBP的识别率明显高于控制算法。fc和dup II的结果表明,尤其是在权重的情况下,基于LBP的描述对于灯光的变化或老化的问题是很有说服力的,但是为了取得更好的性能,还需要进一步的研究。

应该注意的是,在这里所包含的算法的CSU实现,由于在实验设置上的一些修改,不能达到与原来的FERET测试相同的数字。最初的FERET测试结果可以在这里找到。

  1. 人脸定位误差的健壮性

在人脸识别之前,人脸识别系统需要进行人脸检测。自动人脸定位可能不完全准确,因此在小的定位误差下人脸识别是可取的。

所提议的人脸识别方法计算局部区域的直方图,因此相对于网格的相对位置的微小变化只会在局部区域的边界上引起标签的变化。因此,可以期望该方法对人脸局部化的小变化不敏感,使用较大的局部区域会增加对错误的健壮性。

系统地测试了与PCA mahcos相比,定位误差对识别率的影响。PCA和gallery的训练图像(使用提供的眼睛坐标将fa图像规范化为128 128大小)。fb集被用作探针。探测器也被归一化到128 128的大小,但是一个随机的向量(X;Y)

被添加到面位置,其中X和Y不相关,通常分布为均值0和标准差。对每个测试值的每一个探针进行了10次实验。

基于LBP的方法利用窗口大小21 21和32 32和PCA machcos作为模拟定位偏移量标准偏差的函数,如图6所示。可以看出,当没有误差或只有很小的误差时,局部区域小区域的LBP工作良好,但随着定位误差的增加,使用较大的局部区域会产生更好的识别率。最有趣的是,基于局部区域的方法的识别率明显低于PCA。

  1. 进一步使用基于局部二进制模式的面部描述

由于我们的初步结果发表在基于LBP的人脸描述上,我们的方法已经在人脸分析研究中得到了确立的地位。越来越多的作品采用了类似的方法,这证明了这一点。

例如,在局部区域计算的局部二进制模式用于人脸检测。在该工作中,LBP的特征来自于局部区域,结合直方图表示整个面部区域,在作为支持向量机分类器的特征时,获得了极好的面部检出率。利用LBP特征对面部表情识别进行了研究,由Feng等人和Shan等人进行了研究。通过使用JAFFE和Cohn-Kanade面部表情图像数据集,这些论文表明,基于LBP的描述符比其他最先进的面部表情识别方法更有优势。

AdaBoost学习算法选择一组局部区域及其权重。然后,将LBP方法应用于得到较小特征向量长度的得到的区域。最近,Li等人通过将近红外成像与基于lbps的人脸描述和AdaBoost学习相结合,建立了一个

剩余内容已隐藏,支付完成后下载完整资料


资料编号:[465888],资料为PDF文档或Word文档,PDF文档可免费转换为Word

原文和译文剩余内容已隐藏,您需要先支付 30元 才能查看原文和译文全部内容!立即支付

以上是毕业论文外文翻译,课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。