英语原文共 17 页，剩余内容已隐藏，支付完成后下载完整资料
用于自动3D人脸识别的多模式人脸特征提取
摘要：面部特征检测技术在很多面部相关的应用中很重要，诸如人脸校对识别。我们提出一个基于人脸扫描获取的囊括三维（密度）和二维（强度）信息以判断特征点的多模式课题。鉴于人脸扫描，最重要的部分划分为范围映射的使用和面部区域的实时强度检测的算法。一种准确的鼻尖探测器被提出。一个数据的三维特征定位方法经过模型的鼻尖校对之后被应用。起源于范围映射的形状指数响应和角点响应被结合用于眼睛和嘴巴的边界。真实数据受到噪声的干扰，导致了虚假的特征点。我们提出了一种局部高质量的度量方法以此自动停止检测超过一定阈值的传感器噪声。所以我们正在开发一种全自动多模式人脸检测系统。出于特征检测算法在公共设备上的可用性，包含了267个对象的946副面部扫描，质量上的评估和数量上的评估都在进行中。这种全自动的特征识别算法已经合并到一个自动面部识别算法中了。它的识别性能目前在198个面部探测和200个画廊对象中和人工标签分类相似。
1.简介：
自动人脸识别近十几年来引起了生物测定学、模式识别、机械视觉的研究人员们的注意。现在，二维面部识别系统因为处理头部姿势、光照条件、面部表情导致的脸部变化遇到阻碍导致了庞大数量的类别。
通过三维传感器捕获的范围图像包含面部表面形状的信息，这些信息可以补充二维图片中的信息三维形状信息不会因为姿势和光照的变化而改变，这些会显著地改变亮度图像的一致性。基于三维人脸识别的范围图像技术已经被证明对人脸识别的准确性有积极作用。随着三维成像技术的迅速发展非侵入式三维数据捕获和纹理信息将很快被应用。现在的三维相机能够提供两种注册形式，深度和强度。图1给出了面部识别的例子。
在2D和3D人脸识别系统中，查询和模板之间的对齐（注册）是必要的，以便使画廊中的探针和模板具有可比性[8,3]。 通常，面部识别系统包括面部检测，对准和识别。 基于特征点对应的配准是最流行的对齐方法之一[2]。 为了使面部识别系统实现全自动，面部特征提取是关键步骤之一。
面部特征可以具有不同的类型：区域[9,10]，关键点（地标）[11、12]和轮廓[13,14]。 通常，关键点特征比基于区域的特征为对齐目的提供更准确和一致的表示，并且比轮廓特征提取具有更低的复杂度和计算负担。 因此，我们专注于关键点特征提取。 我们选择人体测量学[15]中定义的面部标志（或面部点）的子集作为我们的特征点。 这些特征点包括鼻尖，两个内眼角，两个外眼角和两个嘴角，如图1（d）所示。 所选特征点定义了基本的面部配置。 除了面部对齐之外，它们还可以用于跟踪，筛选（面部检索），动画等。这些特征点还可以用于初始化活动外观模型[13,14]，以进行更高级别的特征提取，例如 提取眼睛的轮廓。
在三维空间注册已经证实比二维空间在头部姿势改变的条件下会获得更准确的校对结果。在二维人脸识别系统中，两只眼睛的中心通常被用作校准。然而眼睛中心区域特别是棕色眼睛和黑色眼睛因为暗的区域光的反射率更低并不能能够可靠的被三维激光扫描仪获取，例如图1。我们需要更多的可靠特征诸如眼角去实现三维空间的校对。
图1 面部扫描和特征点（a） 强度图像（b） 使用表示相应深度（z值）的颜色映射的范围图像（c） 传感器提供的掩模图像，指示有效点（白色）注意眼睛中心的洞是由于黑暗区域造成的（d） 特征点
通过二维相机捕获的深度图片更接近于人类视觉系统所理解的面部图片的输入。但是从深度图片获取明显的面部特征认识一个艰难的挑战。从深度派生出的属性诸如边缘，角点对光照和姿势变化很敏感。范围模态对光照和姿势变化相对的不敏感但是容易受到传感器噪声的影响。由于内部阶级巨大的变化，通过巨大的人口，一个单独的模数可能无法提供准确一致的特征点。从不同模数派生出的积累的证据有潜力使特征检测系统更加强力。
当大量有关二维基于强度的面部特征提取的方法被提出，只有小部分基础特征提取方法在面部扫描前利用了三位范围和二维强度。王及其他人都将特征分为二维和三维两种类型。点签名[18]和堆叠的Gabor滤波响应[11]分别用作图像中每个点的3D和2D特征。每一个被提取到的特征都和一个包含了用来匹配的二维和三维特征的特征载体联系到一起。博纳和鲁斯探究了二维颜色信息技术用来探测皮肤色调的区域并识别眼睛和嘴巴。这个三维信息包含了深度图像通过距离限制计算眼睛和鼻尖的位置。眼角、鼻尖、上嘴唇的中心被计算出来。
我们专注于从额面扫描中自动提取特征点（鼻尖、眼角、嘴角），这些特征点用于在三维空间中进行人脸对齐。提出了一种鲁棒的方法来从距离图识别鼻尖。我们提出了一种整合方案，以利用注册的范围和强度图来提取财务点。对于每个候选点，计算来自距离图的形状指数响应和来自强度图的角度响应。来自不同模态的归一化响应被组合起来，为每个候选点生成统一的响应。将具有最强响应的点标识为目标特征点。此外，我们引入了拒绝选项来处理较大的传感器噪声。从系统的角度来看，拒绝选项使系统更强大，而不是提供意外的结果。利用自动特征提取模块，开发了一种集成了范围和强度模式的全自动多模式人脸识别系统，并对其性能进行了评估。
2.特征检测：
全部的特征检测程序展示在图2.
2.1人脸分割
在整个人脸识别系统中的第一步是从一张面部扫描中检测人脸并定位脸部区域。一个知名的实时的增长的层叠分类器被应用在强度图片用来面部探测。在杂乱的图片背景中，仅仅基于深度分析的算法可能会产生错误警报。我们利用视觉图像中的深度信息去划分前景和背景以此划分了人脸识别区域，减小了报错的几率。在我们系统中对图1扫描的人脸进行划分的结果在图2中展示是出来。这之后的人脸特征提取是在划分人脸的区域中进行的。
图2 多模态特征提取图
2.2强烈的鼻尖提取
鼻尖是人脸上尤其是深度图片上独特的关键点，并且它对面部表情的变化并不敏感。正面扫描的人脸在Z方向上（Z方向是指向图片平面）有局部最大的价值，而且他并不是必要的局部最大特征因为胡子、头发、视野上的其他物体、传感器干扰等等诸多因素。图3展示了一部分例子。
图3 由于使用了启发式算法，即鼻尖是离传感器最近的点，所以导致了鼻尖的错误定位。这些误差可能是由胡须（a）、头发（b）、视野中的其他物体（c）中的肘部和传感器噪声（d）引起的 （e） 是三维空间中从侧面视点显示的（d）的范围图像 尖峰噪声出现在眼睛区域。
我们发现了一种强烈的比肩探测的方法。基于深度地图上鼻子形状通过形状分析来定位鼻尖区域。在鼻尖附近的区域缺少纹理信息（强度特性）。深度图像表示为z(r,c)，z是深度值，r和c是横（水平位置）指数和纵（垂直位置）指数。接下来，我们使用图1的面部扫描证明我们特征提取的方法。
鼻尖在正面姿势上是接近中线的区域（面部平面和两侧对称区域的交叉）。面部表面点沿着中线分布。因此，沿着面部整个区域中，在鼻子区域的点极有可能提供ｚ的最大值。图４（ａ）中我们展示了每一排ｚ值最大的位置。然后计算每一竖排这些点的数量并绘制成如图４（ｂ）的统计图中。我们选取在统计图中达到最大值的竖排并展示在图４（ｃ）。
图4 寻找脸中线（a）黄色标记表示z值沿每一行到达极值的位置 （b）每列中的极限z值（黄色点）总数（c）通过选择在（b）中具有最大峰的列来定位中线（蓝色）
关于鼻尖的调查区域减小到了中线上的点。沿着中线的ｚ值分析由此产生。图５（ａ）展示了沿着中线的侧面轮廓（ｚ）的数值
图５ 深度（z）在沿垂直轴用均值滤波器处理后沿中线分布，横轴表示范围图像的行索引。
在中线配置文件中，鼻梁桥的z值连续不断地增加。 可以通过g（r）= z（r 1）-z（r）计算梯度，其中r是行索引。 然后，针对每一列计算梯度的连续正号的游程长度，如下所示：
图6显示了根据中线轮廓计算的RL值。
图６ 沿中线的游程 （a）深度梯度连续正号的游程长度 箭头指出了三个最高峰，相应的点在（b）中标记
鼻尖位于其中一个峰上，在该峰中游程长度在达到零之前达到了局部最大值。 为了验证与鼻尖相对应的峰，我们在每一行的每个峰位置进行峰分析，即水平z峰分析。
图7 行轮廓显示中线的局部峰 （a）在图6中的三个峰值处（沿行方向）的水平深度（z）轮廓。（b）提取的鼻尖
在我们的实验中，选择了沿中线的三个最高峰。 图7（a）中提供了相应的行配置文件。 令cp表示峰的列索引。 对于每个行配置文件，度量标准sg通过以下方式计算：
在我们的实验中，选择了沿中线的三个最高峰。 图7（a）中提供了相应的行配置文件。 令cp表示峰的列索引。 对于每个行配置文件，度量标准sg通过以下公式计算：其中R是cp周围的列邻域。 度量标准sg测量行配置文件w.r.t的变化。 每个高峰。 在我们的实验中，R的值为根据经验将其设置在plusmn;20mm之内。 选择sg值最大的峰作为鼻尖候选，在其附近将z值最大的点识别为鼻尖。 最终的鼻尖提取结果如图7（b）所示。
２.３特征定位模型
面部特征点在整个人群中具有相似的形状配置。 面部特征的统计模型被用作先验约束，以减少特征点的搜索区域。 有效地减小搜索区域，不仅可以提高提取结果的准确性，而且可以提高计算效率。 基于独立收集的带有手动标记特征点的正面面部扫描集，将统计模型构建为与3D椭球关联的每个特征点的平均位置； 椭圆轴的长度沿相应（x，y和z）方向的标准偏差的1.5倍跨越。 通过将鼻尖设为原点来对齐正面扫描。
3D传感器提供的扫描在世界坐标系中包含（x，y，z）坐标，单位为mm。 统计特征位置模型建立在物理世界坐标系中，因此从模型中删除了由世界图像（像素）映射引起的比例因子。 在我们的实验中，使用145次正面面部扫描来构建模型，如图8所示。
图8 特征位置模型（左）覆盖在3D面部图像上，鼻尖对齐（右）。 红色星号表示平均位置，紫色椭圆形跨度（x，y，z）方向。 由于鼻尖用于对齐所有扫描，因此鼻尖没有变化
２.４提取眼角和嘴角
给定提取的鼻尖位置，通过平移使用鼻尖对齐统计模型（对于额头病例）。 每个特征点的搜索区域被限制在图8所示的椭圆形中。
形状指数（范围）我们根据范围图得出了每个点的局部形状指数[21]。 使用最大（k1）和最小（k2）局部曲率值定义点p处的形状指数S（p）（请参见等式（1））。 形状索引的取值范围为[0,1]。 眼睛和嘴角呈杯形，形状指数值低。 图9提供了九个具有相应形状索引值的形状。
图9 形状指数标尺上有九种代表性形状[21]
拐角（强度）在强度图中，眼睛和嘴角都显示出很强的拐角状图案。 我们基于哈里斯拐角检测器[22]，基于一个事实，即沿着所有方向拐角点的局部邻域中的强度变化应该很大。 哈里斯角检测器被证明在不同条件下拍摄的图像具有良好的可重复性[23]。 考虑在点p（x，y）的局部邻域中图像强度函数I的黑森州矩阵H。 如果H的两个特征值较大，则在任何方向上的小运动都将导致灰度级的显着变化。 这表明点p是一个角。 角响应函数的一个更好的变体在[24]中给出：
拐角响应C（p）越强，点p越可能成为拐角。
融合 从距离图和强度图获得的响应被整合。 为了应用融合规则，在每个特征点的搜索区域中使用最小-最大规则对S（p）和C（p）进行了归一化。 计算点p处的归一化形状索引响应S0（p），其中{Si}是搜索区域中每个特征点的形状索引值的集合。 相同的归一化方案适用于拐角响应C。
最终分数F（p）是通过使用求和规则对两种模态的分数进行积分计算得出的[25]
将每个搜索区域中F（p）最高的点标识为相应的特征点。 图10显示了提取的角的示例。
图10 使用融合进行特征提取 （a）在检测到的面部区域的形状指数响应。暗区代表低形状指数值，亮区代表高值，背景被涂成黑色 （b）在检测到的脸部区域的角落响应 （c）仅针对最小形状指标值，使用范围（形状指标）图提取特征点（黄点） （d）仅针对最高角响应使用强度（角）图提取特征点（黄点） （e）通过合并最终分数F的范围和强度来提取特征点（青色加号）
拒绝选项：局部质量分析3D传感器捕获的范围图像会因黑暗区域，反射特性或照明效果而受到传感器噪声的影响[16]。 很难对所有这些传感
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[236926]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
