人脸图像对准的联合局部回归学习法
摘要
级联回归方法近来已广泛应用于计算机视觉任务，并展现出了最先进的性能。在本文中，我们考虑了使用级联回归的人脸对准模型拟合问题，并提出了一种新的人脸对准方法，也就是联合局部回归学习（Joint Local Repressors Learning，JLRL）。本文提出的学习框架的主要新颖性在于以下两个方面：
（1）通过联合学习局部回归来考虑面部标志之间的形状约束。
（2）在训练阶段探索每个面部标志物对面部对准误差的贡献。与目前表现出最新性能的人脸对比方法相比，我们的JLRL方法在当今最具挑战性的LFPW，Helen和300-W数据集上表现最佳。
关键词：级联回归；人脸图像对准；脸部特征；局部回归
第1章 课题研究的目的及意义
脸部对齐是自动定位预定义脸部界标点的任务，例如鼻尖，嘴角，眼睛中心和下巴。 它经常是人脸识别[1,2]，人脸跟踪[3]，头部姿态分类[4]和血亲验证[5-7]等许多应用的第一步。近年来有许多研究尝试从控制条件下或实验室环境中记录的面部图像转变为真实的人脸图像[8-14]，这些图像可能杂乱无章，部分受到遮挡，形状、外观、头部姿势和表情变化较大。然而，他们仍然难以精确和稳健地定位面部标志，特别是当需要实时定位时。
在许多不同的脸部对齐方法中，形状回归已经成为最流行和最先进的方法之一[9-14]。 该算法通常以初始形状开始。例如，平均形状的训练样本，并通过顺序训练的回归器迭代地更新形状。影响形状回归性能的两个关键因素是形状更新方法和形状索引特征。
主动外观模型（Active Appearance Model，AAM）算法[15]及其改进[16-19]是面向对齐的流行回归方法，其使用形状和纹理的组合参数模型。但是，这些方法是次优的并且是间接的，因为小参数错误通常会导致大的对齐错误。最近，基于级联姿态回归的概念提出了一些成功的方法[20]。监督下降法[13]采用预定义的SIFT特征作为形状索引特征，容易引起过拟合和大计算。为了获得更健壮和有效的形状指数特征，基于特征学习的方法，例如，选用随机蕨类植物的鉴别像素差异特征[21]，已被应用[9,10]。Ren等人 [11,12]通过分别学习相应的随机森林映射函数[22]，提出了面部标志点周围的不同局部特征，实现了高速性能。概率分布已被用于探索形状指数特征来提高面对齐的鲁棒性[14,23]。
与上面提到的方法相比，我们提出了一种名为联合局部回归学习JLRL的新方法，如图1.1所示。
图1.1 JLRL流程图
首先为每个地标提取本地二进制特征。然后对形状进行全局回归，其中所有地标都作为矢量连接起来。最后，我们对所有地标进行联合局部回归。
JLRL这在两个方面具有吸引力：（1）利用面部标志之间的形状约束，这对于脸部对齐非常重要，因为局部特征可能因姿势和遮挡的变化而变化;（2）不同面部部位的面部标志可能对面部对齐误差有不平衡的贡献，因此在训练阶段探索每个面部标志的权重。
第2章 课题的相关研究现状
在本章中，我们简要回顾两个人脸图像面部对齐的相关主题：级联回归和形状约束。
2.1 级联回归
一些采用级联姿态回归概念的成功方法近年来不断涌现。所有这些方法都将形状估计作为一个回归问题来解决，学习回归器直接预测原始初始化的准确形状[9-14]。Burgos-Artizzu 等人[9]提出了一种新的级联回归方法，称为鲁棒级联有用回归（RCPR），它可以在估计地标的同时检测出遮挡。 提出了基于随机森林[12]的局部二元特征来快速回归形状。由粗到细自动编码器网络（CFAN）方法[25]级联了几个连续的堆叠自动编码器网络（SAN）。朱等人[26]以级联的方式呈现了一种从粗到细的形状搜索方法，该方法通过探索整个形状空间来开始其粗略搜索，并且使用粗糙解来约束后续更精细的形状搜索。
2.2 形状限制
为了更好地处理更大的姿态变化，应该建立形状约束（部件相互之间的相对位置）。 基于局部特征的方法，如主动形状模型（ASM）[27,28]，约束局部模型（CLM）[29]和带有约束局部模型（DRMF）的判别反应映射拟合[30]在当前面部标志周围提取，可以通过包含形状约束来轻松处理部分遮挡。Ren等人[12]和张等人[25]将所有面部标志的形状索引特征连接在一起作为形状约束来共同回归形状。然而，将所有特征连接成一个向量无法探索精确的空间结构。周等人[31]从类似的范例中在线学习仿射不变形状约束。Belhumeur等人[8]和周等人[32]指出，定位的硬度在不同的面部标志上是不平衡的。特别是，轮廓点的位置显着变化，而内部地标更加稳定。因此，这两部分的训练错误严重失衡。
第3章 联合局部回归学习法
在第3.1节中，简要回顾了级联姿态回归。然后分别在3.2节和3.3节介绍全局回归和联合局部回归，这是我们提出的用于面对齐的联合局部回归学习JLRL的两个主要部分。
3.1 级联姿态回归
为了更好地介绍所提出方法的技术细节，我们在本文的其余部分介绍了一些重要的符号。令为图像I中第k个面部标志点的（x，y）坐标。然后矩阵表示图像I中所有n个面部标志点的坐标，称为I上的形状。级联回归方法通过顺序回归由当前估计形状索引的局部特征来更新形状：
（3.1）
3.2 全局回归
假设我们有N个训练样例，其中每个是面部图像并且是它的基本真实形状。在获得与[12]中提出的局部二元特征相同的形状索引特征后，我们建议使用全局回归来估计面部标志的主要位置。相反,所有面部地标的局部二元特征被连接为一个向量，然后每个阶段的全局回归任务被制定为最小化以下目标：
(3.2)
其中是第m级中所有面部标志的级联形状索引特征，是全局线性投影。
3.3 联合局部回归
级联的关键点是回归器和形状索引特征提取器，并且定位的硬度在不同的面部标志点之间是不平衡的，因此在全局回归之后，我们为每个地标学习不同的和。在这个过程中，为了学习更加鲁棒和高效的和，我们考虑了两个约束条件：（1）利用面部标志的相对位置及其相互作用来改善人脸对准的准确性和鲁棒性；（2）对于人脸图像，轮廓点包含比内部地标更少的局部纹理信息。此外，面部内部标志的相对定位困难是不统一的。例如，眼睛周围的地标可以更准确地定位于眉毛周围的地标。这两个因素导致面部标志的对准误差之间的严重不平衡贡献。图3.1给出了一个简单的例子来说明面部对齐的不同权重。不同的颜色可能表示相应的地标对齐的不同重要性。
图3.1 面部对齐的不同权重
为了进一步提高准确性和可靠性中的人脸对齐，我们建议通过明确地最小化对准误差的总和，在每个阶段共同学习每个地标的和，如下所示：
(3.3)
其中是第i个训练形状，是为人脸图像上的所有面部标志设置的局部回归因子，是为脸部图像上的所有面部标记设置的局部二值特征，i遍历所有训练示例，k遍历所有面部标志。
形状索引特征提取器的学习方式与局部二进制特征相似[12]，它使用标准回归随机森林[22]。
由于面部标志周围的纹理信息的各种属性，不同的面部标志肯定对对准误差有不同的贡献。为了很好地探索面部纹理周围纹理信息的各种属性，一系列非负权重被强加于每个阶段不同面部标志的优化。
大的是面部标志; k在面部对齐中扮演的更重要的角色。特别是，意味着这种方法最终只能选择一个面部标志，这相当于文献[12]中的方法。所以我们的方法可以被认为是[12]中方法的推广。为了更好地探索面部纹理周围纹理信息的特性，本文采用了[23]中使用的技巧。
本文中，解决方案是通过迭代方案推导出来的。第一步，通过使用[12]中的方法来初始化每个面部标志的形状索引特征提取器。第二步和以交替方式使用交替优化[24]更新。
我们重复步骤1和步骤2，直到算法1中总结的收敛或固定数量的迭代。
算法1.联合局部回归器学习（JRLR)
第4章 联合局部回归学习法的实现
我们首先介绍实验中使用的三种流行且具有挑战性的数据集：野生标签（LFPW）[8]，海伦[33]和野外300只（300-W）[34]。然后，在第4.2节中，我们将在所有实验中描述实施细节。
4.2 数据集
LFPW是在[8]中生成的，并且是在非受控条件下用于基准面对齐的最常用数据集之一。 该数据集包含从野外条件获取的1300张面部图像，并且仅共享网络图像URL，因此所有图像均从网络下载。由于有些网址不再有效，我们只下载了1100个训练图像中的812个和300个测试图像中的249个，并附带35个带注释的地标。与以前的作品相比，我们的实验中使用了35个地标中的29个。
海伦在[33]中创建，并且也在不受控制的条件下收集。它包含2330高分辨率图像，在光照，表情，姿势和遮挡方面有很大的变化。所有这些图像都注释了194个地标。按照[33]中的相同设置，2000张图像用于训练，330张图像用于测试。
300-W是在[34]中创建的，其标准化了包括XM2VTS [35]，Helen [33]，AFW [36]，LFPW [8]和新的具有挑战性的135图像IBUG数据集在内的几个现有数据集。IBUG是非常具有挑战性的，因为它的形象在面部表情，灯光和姿势上有很大的不同。300-W的每幅图像由[34]提供的68个地标注释。为了公平比较，我们在[12]中进行了相同的分割以进行培训和测试。具体而言，我们的训练集由LFPW的训练样本，Helen的训练样本和整个AFW（共3148个图像）组成，我们的测试集由三部分组成：LFPW和Helen的测试样本作为共同子集，整个IBUG作为具有挑战性的子集，并将它们结合为全套。
4.2 实施细节
为了实现更好的泛化，我们在[25]中以相同的方式增加训练数据：通过使用不同的初始形状将每个图像扩展成多个训练样本。 在预测中，我们只使用从训练数据地标中获得的平均形状作为初始化。
所有的实验都使用以下固定参数配置进行。 对于联合局部回归，迭代阶段的数量设置为M = 5，权重T = 10的迭代次数，全局回归的正则化参数delta;= 0.001，以及拉格朗日乘子beta;= 0：001和gamma;= 0：002。
4.3 评估指标
我们使用被定义为估计形状与由瞳孔间距离归一化的地面真实形状之间的距离的眼间距离的分数来测量每个样本的面部对准精度。报告所有测试样本的平均误差为总体精度。为了简单起见，我们在报告的结果中放置符号#39;％#39;。
第5章 实验结果分析
我们进行实验，将所提出的方法与流行数据集上的最新方法进行比较。 为了公平比较，其他方法的结果直接从文献中获得，或者根据相同条件下发布的代码进行评估。
5.1 在LFPW数据集上的实验结果比较
首先，我们评估我们的JLRL和现有的LFPW数据集的方法，如表1所示。在这个实验中，我们的JLRL通过使用来自LFPW训练集的图像进行训练。为了与以前的方法进行比较，我们分别计算了68个地标和29个地标的误差。从表1可以看出，LBF和ESR表现优于其他方法，其次是CFAN，它受益于其非线性模型。此外，我们的方法在这个数据集上表现最好，甚至比联合局部回归策略的CFAN更好。
表5.1 在LFPW数据集上比较平均误差
|
方法 |
68 |
29 |
|
Zhu et al. [36] |
8.29 |
– |
|
DRMF [30] |
6.57 |
– |
|
RCPR [9] |
6.56 |
– |
|
Belhumeur et al. [8] |
– |
3.99 |
|
ESR [10] |
– |
3.43 |
|
SDM [13] |
5.67 |
3.49 |
|
全文共15873字，剩余内容已隐藏，支付完成后下载完整资料 资料编号：[13606]，资料为PDF文档或Word文档，PDF文档可免费转换为Word |
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
