二维和三维人脸识别方法分类
Radhey Shyam and Yogendra Narain
计算机科学与工程信号部
工程技术学院
勒克瑙-226 021 ，印度
{shyam0058, singhyn}@gmail.com
摘要：本文介绍了一种基于二维、三维和多尺度图像研究的先进人脸识别评估方法。这有两方面的目的：（1）提供一种基于二维和三维人脸图像的自动化人脸识别的深度研究方法；（2）批判性的回顾现有的二维和三维人脸识别方法。总结目前的研究趋势，更精确的人脸识别系统的发展所面临的挑战已被查明，这些挑战包括在毫无约束环境下的人脸识别，比如照明、姿态、面部表情、遮挡和时间延迟的变化。
关键词：人脸识别；二维和三维图像；三维人脸合成
Ⅰ.介绍
人脸识别的任务是用数字人脸图像鉴定某个人物。人脸识别系统（FRS）常被设计用于输出两个人脸图像的相似性度量。一个自动的人脸识别系统用于寻找面部特征标志如眼睛的中心、鼻子、下巴和嘴唇进行校准并用于规范面部表情。特征被描述为用一个合适的特征表示方案学习与算法执行相匹配的判别特征。图1所示的是一个在典型人脸识别系统中的不同阶段的图形。研究表明人脸识别系统在约束环境下性能良好。然而，光照、姿势、面部表情、遮挡和面部老化等关键因素显著地影响着识别精度。
人脸识别系统的挑战是人脸的自动定位和在不受约束的条件下全视角的人脸识别。在已知的文献里，并没有这样的人脸识别方法，因此在验证输出中人类的干预是有必要的。很多人脸识别方法对面部几何特征是很敏感的，因此，摄像机到实物之间的距离变化在很大程度上影响着这些方法。故而很多生物特征研究人员试图开发一个新的人脸识别方案并尝试结合多种生物识别线索以求更好的性能。
图1 典型人脸识别系统原理图
图2 人脸特征随着衰老的改变
通过面部几何鉴定人类身份面临着一个巨大的挑战是缺乏系统的分析去计算面部的独特性。老化是面部生物识别的另外一个挑战，它会使面部在人的一生中不稳定。面部衰老可能是由多种生活方式引起的，比如药物的使用、吸烟和体重的变化。面部的变化是导致内部变化增加的一个因素，通过化妆和整形手术可以改变面部，另外，疤痕的形成和脱发也会降低人脸识别系统的表现。由衰老引起的面部特征的改变如图2所示。大多数商用人脸识别系统不能处理被遮挡的图像，中立图像和被遮挡的图像如图3。人脸识别方法的另外一个挑战是处理查询影像和相关检索，比如正脸和非正脸、面部表情和局部面部图像（参见图4所示）。
图3 面部图像的例子：（a）正中间的图像 （b）遮挡的图像
图4 不同类型的示例查询和检索结果如（a）正面脸 （b）非正面脸 （c）带有表情的人脸 （d）半正面脸 检索结果中的标记用一个交叉点表示
这篇文章介绍了基于二维和三维图像的人脸识别方法的分类。和三维人脸识别方法相比，二维人脸识别方法在受控环境下性能更好并且要求的计算量较低。大多数二维人脸图像的识别精度达不到符合严格安全要求的标准。虽然个体自信的通过面部识别同伴，但是二维人脸识别方法的性能的最终判断需要人为干预。三维图像人脸识别采用合成面部特征的3D模型来识别个体并且需要更多计算量。本文对二维、三维和多尺度图像方法进行综述并对其进行评价。本文其余部分组织如下，第二节展示了面部特征的个体性，第三节将给出自动脸识别方法的分类法和评价，在第四节中，我们将给出对这项研究的观察和结论。
Ⅱ.面部特征的个体性
人脸上有足够的信息供大多数人去辨认它们。然而，人类在其一生中不是以相同的身份存在着。人的形态外观是经常改变的，并且在人生的不同阶段中的显著行为你也不相同。个体性，指的是把一个人区别于另一个人的特征。个性化或不同于其他人的条件建立了一个人的个体性。增加个体化特征的集中因素有人口信息和面部标志，人口信息包括种族和皮肤而面部标志包括疤痕、痣和雀斑。这些是在改善人脸匹配和检索中起着重要作用的软生物特征因子。一些面部标志如图5所示。一些公开的图像在人口学信息的基础上很容易被区分开来，如图6所示。
图5 面部标志如（a）痣、胎记和疤痕 （b）纹身
图6 一些不同族群的知名人物
Ⅲ.人脸自动识别方法
因为人脸的多样性和由于表情、性别、姿势、光照、化妆引起的变化性，人脸识别是一个有挑战性的问题。人们已经开展了相当多的工作并得出了大量人脸识别方法。这些方法可以分为：（1）2D灰度或彩色的二维图像；（2）3D距离或人脸点阵的三维图像；（3）二维图像和三维模型结合的多模态人脸识别方法。
- 二维图像人脸识别方法
最早的人脸识别方法是在1966年提出的，Bledsoe概述了人脸识别的困难，如姿势变化、光照强度、面部表情和老化等。他发现了相关性很低的同一个人在两种不同姿态下的两张图片。第一个自动人脸识别系统是Kanade于1973年发明的。大约二十年的停滞期之后，在Kirby和Sirovich的工作中，Turk和Pentland使人脸识别研究重新焕发了活力。人脸识别研究的下一个里程碑是线性判别分析用于脸部分析、特征面和渔人脸比较研究的提出。在耶鲁大学人脸数据库里的实验中，Belhumeur等人的研采用渔人面方法实现了99.6%的识别精度。渔人面方法的主要缺陷是其线性特性。独立组件分析是另外一个方法，它用于人脸识别的特征提取和图像识别，一些研究表示独立组件分析比特征面的结果更好，因为它能处理非线性行为。
局部特征分析（LFA）是另外一种方法，它在特征空间中建立一个局部相关特征族。他产生了一种最小相关、地形索引的特征子集，用来定义兴趣子空间。LFA的优点是利用特定的面部特征而不是整个面部表征来进行识别，该方法选择人脸的特别区域（如眼睛或者嘴巴）去定义特征并用于识别，这些特征对光照不太敏感并且更容易循环评估。Ahonen等人提出了一种工作于局部二值模式（LBP）纹理特征的人脸图像表示方法。可以证明LBP对单调灰度变化具有特征不变性。LBP也是一种多分辨率图像局部特征的有效表示方法。
图7 人脸识别中合成的三维模型原理图
Wiskott等人提出了弹性束图像法（EBGM），在这种方法中一组与不同面部特征相关的射流来源于脸部图像。EBGM的成功可能是由于其与人类视觉系统的相似性。该方法在二维额侧或近额侧图像上均表，现良好，但随着光线和姿势的变化，其性能有所下降。在FERET数据库里，它们报告出80%~82%的识别精度。
- 三维图像人脸识别方法
三维人脸识别方法的处理步骤包括三维人脸模型的建立、特征定位、特征提取和匹配。一种三维人脸识别图像如图7所示。三维人脸是由阴影信息和单个参考模型到最新脸部图像的先验知识的结合，它包含了丰富的人脸几何学信息。在三维人脸几何中，人脸特征由局部曲率与全局曲率、弹性束图匹配与三维形变模型表示。
Chang等人提出了一种基于多区域的三维人脸识别方法。在这个方法中，多次重叠鼻子周围的分区和用ICP与多种三维匹配结果相融合是独立匹配的。在FRGC2.0数据库中，它们报告出92%的识别精度。这种方法自动选取地标点，在脸部表情改变的情况下，其结果有所改善。Blanz等人基于三维形变脸部模型的方法，该方法可以根据模型参数对形状和结构进行编码。结构和形状参数分离图像参数，如姿势和光照。它们报告的识别精度达到97.4%。Cootes等人对参数化外观模型生成的合成图像进行了实验，它们展示了一种同时匹配结构和形状的有效的直接优化方法。
许多研究人员描述了使形状和外观可变的模型和新颖图像相匹配的方法。Naster等人提出的形状和强度变化的模型使用了三维可变模型的景观。他们使用了闭触点表面匹配的方法对二维或三维图像进行拟合。在文献【34】里Passalis等人试验了一种三维可变人脸模型的方法。平均三维人脸数据是在画廊数据库里以统计学基础计算出来的，在FRGC2.0数据库里，其识别精度为90%。
基于表面匹配的三维人脸识别方法在文献【50】【51】里有所描述。Lu和Jain提出了处理脸部表情变化的三维形变模型。基于2.5D范围图像的人脸识别已经被很多研究人员研究过，但他们中很少有人注意到了形变问题，这在三维人脸识别中是一个主要的问题。Chua等人已经拓展了点信号的用途去识别不同表情的正脸，这被称为三维非刚性识别。
Chang等人提出了一种独立匹配鼻子周围多区域的方法，并结合个人匹配结果做最后的决定。Bronstein等人提出了一种基于面部等距模型的方法，推导出了表达式不变的三维人脸识别面部表示。在文献【51】中，Bronstein等人已经尝试过一种三维人脸识别方法，该方法适用于面部变化有关的形变，其目标是将三维人脸变成不随形变种类而改变的本征函数。在包含30个人的200张图像的数据集上，它们报告出的识别精度为100%。在文献【9】中，李等人提出一种处理年龄变化过程中人脸匹配的判别式模型。在该模型中，每一张人脸都通过密集采样的局部特征描述方案来表示，比如尺度不变特征的转换和多尺度LBP。他们声称在MORPH数据库中识别精度有83.9%。
表1 二维、三维和多模态人脸识别方法的比较
Vetter和Poggio提出了一种三维形变模型，它是基于向量空间脸部表示的，可以用三维形变模型到图像用于识别不同的姿态和纹理的脸部。在CMU单一和FERET数据库中，它们报告的识别精度有95%。Park和Jain提出了一种所谓的运动恢复结构（SfM）的方法，该方法重建三维人脸模型用于补偿低分辨率、低对比度和非正面姿态，有一种基于该方法的因式分解专门用于其三维模型的重建。在CMU人脸数据库中对所提出的合成模型进行测试，他们声称在匹配度上有30%-70%的提高。
- 多模态（2D 3D）图像人脸识别方法
本节对多模态人脸识别方法进行了评述。多模态人脸识别优于二维和三维人脸识别方法，它将二维图像的人脸信息和三维模型进行了结合。Chang等人提出了不同的方法用于组合单独执行的在强度和范围图像上的人脸信息，他们报告出多模态识别精度为99%、三维识别精度为94%、二维识别精度为89%。Godil等人在SAR数据库上试验了2D 3D人脸识别，他们使用主成分分析用来匹配二维和三维图像的方法，其中三维表示一个范围图像。分数水平两种结果的多种融合方法已经被探索出来，在深度图像上，他们报告的识别精度为82%。
Lu和Jain在2D 3D多模态系统上进行了实验，该系统采用LDA利用迭代壁橱点和二维匹配相结合的方法。他们报告到在中性变表情上识别精度为98%，在微笑和较为中性的表情上识别精度为91%。Wang等人利用Gabor滤波相应进行了二维人脸识别实验并利用点签名进行了三维实验。它们用有向无环图（DDAG）的支持向量机来测量性能并报告出识别精度为90%。Mian等人提出一种全新的整体三维球面人脸表示（SRF）方法。SRF用于结合不变特征变换（SIFT）的描述符，以形成拒绝分类器。在早期阶段，他消除了画廊中大量不符合要求的候选者人脸。SFR是一个低成本的全局3D人脸描述符。这分别提高了人非中性和中性人脸图像的95-99%的性能。二维、三维和多模态人脸识别方法在使用原理、实验数据库和报告性能上的比较见表Ⅰ。
Ⅳ.讨论与结论
人脸识别方法的有效性取决于它在多大程度上利用了面部解剖学的知识，包括面部骨骼、面部肌肉和皮肤属性。图像分析技术、摄影信息、人脸识别的历史以及计算资源在人脸识别中也起着至关重要的作用。然而，将面部特征组织成层次，作为软生物特征识别以实现更好的性能的想法也是很有吸引力的。例如，首先要考虑的是肤色、性别和人脸总体外貌等容易观察到的特征，接下来是局部的面部特征，最后是面部特征标志如皮肤色素的衰退和痣。
在实际应用中，人脸识别系统可以在协同和非协同的工作情况下工作。协同的过程中，在正常光照和可控环境下的静态图像正脸检测是一个很好的解决问题。LDA、LFA、LBP、EBGM和他们的结合在协同过程中表现良好。非协同过程中，在姿势、表情、光照、背景、老化程度和相机与实物间距不同的情况下对视频图像进行人脸检测是一个部分解决的问题。为了克服非协同场景中涉及的问题，人脸识别方法大多采用三维形变和主动外观等综合模型对有差别的面部特征进行检测。
从目前大多数人脸识别方法的结果来看，人脸和几何统计分析的缺失减少
资料编号：[3822]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
