英语原文共 6 页
自动雀斑检测和修饰
Uri Lipowezkysup1;和Sarah Cahensup2;
耶路撒冷理工学院-马孔列夫（TAL），电光系
摘要
雀斑和瑕疵是人体外观的重要特征之一，可用于面部识别、恶性黑色素瘤早期诊断和遮瑕膏模拟等多种潜在应用。本文介绍了一种基于纹理、形状和颜色特征相结合的开放式皮肤精确检测的皮肤雀斑提取方法。所提出的方法可以独立地检测和修饰每个雀斑。这个过程是从面部定位和准确的典型面部特征提取开始的，比如皮肤、眼睛和嘴巴，最后是雀斑面膜。祛斑修护程序是双重的：首先将祛斑面膜内部的皮肤替换为周围没有祛斑的皮肤，然后使用与原始照片混合的alpha来模拟遮瑕膏的功效。对真实人体照片的实验表明，该技术具有很高的有效性。
索引术语：人脸识别、特征提取、颜色、自回归过程
1引言
面部皮肤病变如雀斑和瑕疵是面部分析的重要特征之一。它是由不同类型的颜色形状和纹理组成的复杂视觉图案。有人认为，雀斑在人脸识别和人的外貌中起着重要作用。研究[3]强调雀斑和瑕疵检测在恶性黑色素瘤早期诊断中的作用。我们的研究是针对祛斑检测的遮瑕膏模拟。这种模拟显示出对虚拟化妆品模拟器非常有吸引力，如[16]和[17]。有三个原因使得这个应用程序特别具有挑战性。
首先，人类面部皮肤的颜色受到不同比例的黑色素、血红蛋白和胡萝卜素的影响。雀斑的外观表现出这些成分之间的局部不均衡，因此在人与人之间差异很大。
第二，在化妆品店，用独立的售货亭拍摄的用户照片的复杂光照，例如[13]产生了从皮肤上分离雀斑的额外困难。这种情况在表现、衰老和自然皱纹（下巴、鼻部等）附近变得特别复杂。
第三，雀斑的形状和质地不一致，并且在不同的人和脸上的不同位置有所不同。
我们不知道之前在计算机视觉或图像处理社区中关于雀斑检测和使用的任何工作。也许，例外的是[15]的工作，在开放的面部皮肤上的雀斑修饰，使用高斯模糊和阿尔法混合进行研究。然而，雀斑和瑕疵一直是基于计算机的人类福祉的一个重要研究课题[10]。本文提出了在精确提取的面部皮肤上，利用颜色、纹理、形状和面部拓扑特征分别检测每个雀斑的方法。检测到的雀斑被不含其他雀斑的皮肤环包围，从该环中取样皮肤色调。使用皮肤取样对雀斑进行修饰。在最后阶段，为了模拟遮瑕膏的功效，使用alphablending将修饰后的图像与原始图像混合。图1显示了原始图像，用皮肤采样环检测到的雀斑和雀斑修饰的结果。
- （b） （c）
图1原始照片（A），发现雀斑连同皮肤样本环（B）和修饰照片（C）
雀斑检测过程从精确的皮肤开放检测开始。该过程基于P.Viola和M.Jones人脸检测器[12]结合模糊C均值聚类[1]。在开放的皮肤区域内，眼睛和嘴的轮廓被描绘出来。这些轮廓是用嘴和眼睛的能量图检测出来的[9]。这些能量图使用协同平均移位分割技术（Edison）[4]进行聚类，以提取眼睛和口腔区域。眼睛和嘴的轮廓以及眉毛和鼻孔区域都被排除在开放的皮肤之外，因此雀斑区域被定义为感兴趣的区域。雀斑检测是基于EM聚类[6]的，适用于雀斑能量图。利用颜色、形状、纹理和拓扑特征对获得的斑点候选点进行过滤。对于通过过滤的斑点，采集周围皮肤样本环。这些戒指最终被用来修饰雀斑。实验用真实的图像说明雀斑和瑕疵修饰完成了研究。
2开放式皮肤检测
开放式皮肤检测从P.Viola和M.Jones面部探测器[12]开始，在面部提供方形边界框（见图4a）。利用CIE-LA-BColor空间中的C均值聚类[1]来检测精确的皮肤轮廓。在第一阶段，根据CIE-Y分量对图像直方图进行归一化，并在CIE-YSH颜色空间中计算出皮肤轨迹[11]。属于皮肤轨迹的每个像素必须位于 （图2c）、 （图2a）和 （图2b）区域，如图2所示。这些区域用多项式来近似。属于皮肤颜色的像素如果其中， （见图2）
，
与 ，其中
- (b) (c)
图2 CIE YSH颜色空间中的皮肤轨迹外观曲线
图3 皮肤轨迹和镜面反射点检测示例
除了皮肤轨迹外，这些曲线还允许在 amp; 或 amp; 时基于视网膜的检测镜面反射点。这些镜面反射点也可能是开放式面部皮肤的一部分。检测皮肤轨迹和镜面反射点的示例如图3所示。使用以下形态特征检查面部盒子内的斑点（见图4a）是否为面部。形状因子 ，其中P是斑点面积，S是斑点周长。凸壳系数 ，其中是 凸壳斑点面积和孔系数 ， 其中是填充面积，斑点相对于面盒的相对部分，其中 是面盒的侧面（见图4a）。此外，还使用了两个展弦比：
简单展弦比： 其中斑点坐标 和基于回归的最大长宽比
通过将 Metric Blob坐标拟合到回归线 来定义参数 。让我们表示 比 和 。将t代入LMS方程组，得到t的以下三次方程：
这个等式只有一个根t用来表示 和
- （b） （c）
图4基于颜色的皮肤检测器：Viola-Jones面部矩形（A）、皮肤轨迹检测（B）、3个簇的模糊C均值检测（C）
利用这些形态特征，设计了一种级联式缓升分级机[8]。该分类器使用手工标记的508张面部图像进行训练：283张面部皮肤斑点的阳性和225张阴性示例。最终使用了38个树桩，输出函数计算为： ，其中是周分类器或树桩的数量， 是树桩 的特征值，是其 阈值， 和 是图章参数。对于皮肤轨迹值 与阈值 进行比较，其中对于面部皮肤斑点，绝对值为（见图4b）。如果轨迹皮肤 低于CIE LA B颜色空间 中簇的模糊CMEAN程序[1]，则将其应用于皮肤轨迹像素。在后一种情况下，只有k=3簇的概率pgt;0.55，k=4簇的概率pgt;0.35，k=5簇的概率pgt;0.3的像素用于面部皮肤斑点的形成（见图4c）。这些斑点使用相同的温和增强进行测试，但是，检查两个阈值：对于绝对皮肤斑点，对于绝对非皮肤斑点（见图5）。否则，计算xie–beni集群有效性标准[14] 。如果对于每个集群数，斑点具有找不到皮肤斑点定义为 。在本例中，使用颜色和形状特征将斑点与其他斑点聚合。
图5模糊C均值面部皮肤检测流程图
结果图像（见图4）对于大多数应用来说都足够精确，处理面部皮肤提取，但是，由于部分头发和背景仍在面部皮肤斑点的内部，因此没有足够精确的斑点检测。为了克服这个问题，图像被重新分类，使用CIE LA B颜色作为纹理特征。纹理特征是基于两个层次的Haar小波分解。对于3x3切片平方窗中的子带LH、HL和HH，计算了标准偏差，并将特征 和 ，其中 表示标准偏差合并到新特征 ，以提供对皮肤皱纹方向变化的鲁棒性。在研究[11]中，alpha;和beta;被定义为促黄体生成激素HL促黄体生成激素HL (1) 其中， 和 是初始皮肤斑点内部的相关比和标准差。最终采用了8种特征：LA B、Canny边值[1]、HH和W，分别用于小波分解的1级和2级。在应用k=3hellip;8个簇的模糊C--均值程序之前，纹理特征被标准化为[0 100]区间。最大值 ，其中 为 初始面部皮肤斑点， 为测试斑点， 表示斑点区域， 为初始皮肤斑点的区域，使用与已用于增强分类器的相同形态特征（除q之外）进行测试（见图5）。利用简单的9节点决策树对不合适的斑点进行剔除，并将这些斑点进行组合，以获得精确的面部皮肤面积。准确的面部皮肤区域检测示例如图6所示。681张图像的实验结果显示，87.5%的视觉接受精确皮肤检测。0 T0
（a） （b） （c）
图6一个精确的面部皮肤区域检测的例子：3个簇的模糊C均值（A），4个簇的模糊C均值（B），组合面部皮肤区域（C）
3雀斑检测
（a） （b） （c）
图7 初始雀斑检测示例：原始图像（A）、均衡雀斑图（B）、EM雀斑检测仪（C）
可见面部皮肤光谱由不同比例的黑色素、血红蛋白和胡萝卜素组成[15]。在雀斑内部，这个比例被转移到胡萝卜素成分[3]。因此，为了强调雀斑的外观，可以使用以下雀斑能量： ，其中B是rgb颜色的蓝色成分，对于富含胡萝卜素的区域（如眼睑），通常具有较低的值，S是 空间中的饱和度，对于雀斑alpha;和beta;，显著大于（1）中的面部S。亲属区。在能量图E上应用40x40像素正方形窗口中的切片均衡，以减少因面部起伏而引起的局部能量变化。均等映射 的一个例子如图(7b)所示。两类高斯期望最大化算法[6]应用于，雀斑的初始部分eta;=0.12。图7显示了最初雀斑检测的结果。最初检测到的雀斑是使用Student和Wilcoxon的统计检验，与雀斑及其周围2像素环的统计同质性假设相反。只接受明显程度超过0.05的雀斑。为了去除假雀斑，对其形状和拓扑结构进行了测试。使用尺寸S、形状系数K、凸壳系数CH和展弦比R检查斑点形状。使用6节点决策规则测试这些特征，以减少假雀斑。此外，位于长边（如下巴或鼻子轮廓）附近的斑点也会被去除。为了检测长边，将canny边缘检测器[2]应用于两个层次的ll-haar小波分解，并将多尺度边缘检测器的结果合并到联合边缘图中。图8说明了长边结合和雀斑过滤过程。f
（d） （e） （f）
图8雀斑过滤：初始图像（A）、均衡雀斑能量图（B）、过滤雀斑（C）、第一级边缘（D）、第二级边缘（E）、组合边缘（F）
4雀斑修饰
让我们将Omega;表示为一个需要重新修饰的区域，Omega;为其边界，S为适于模拟Omega;内部分布的Omega;附近。图1b显示了雀斑分类图以及雀斑周围的皮肤采样环。对于每个像素pisin;Omega;，其平均值可使用Parzen采样点估计量（或Nadarayawatson估计量）进行评估[7]： (2)
其中， 是像素p的估计图像，x是来自p附近的已知图像像素，g是比例h和的核心。 表示像素之间的欧几里得距离。对于纹理皮肤背景，可以假设高斯-马尔可夫分布模型[15]。因此，自相关函数（ACF）表示为 ，其中 是像素之间的距离。研究[4]表明（2）提供了无偏估计，因此可以建议Orenstein-Ohlenbeck扩散过程[7]建模内核G。因此，根据[7] ，像素p的平均值和标准偏差为：
其中 是像素 的权重， 是采样区域S中图像的标准偏差。马尔可夫过程的参数lambda;可由环境结构的ACF指数拟合定义为： (4)其中（4）中的和仅为正ACF值计算。tau;集合的区域（与S相同）是递归定义的。过程从最大可能半径开始，通常tau;=12像素（在雀斑区域内，见图1b），然后应用方程（4）并将tau;校正为 。以下[15]分别对R、G、B通道进行alpha;混合，即 ，其中alpha;isin;[0,1]为隐藏力， 为初始图像，
是修饰图像和 。为了减少伪影，分别对R、G和B通道应用3x3像素中值滤波器。单个雀斑修饰的示例如图9所示。
（a） （b） （c）
图9单雀斑修饰：初始图像（A），检测到的雀斑（B），修饰雀斑（C）
5结论
在105张包含不同雀斑量的人脸图像数据库上，测试了该方法的自动雀斑检测效果。所有图像都是直观的，大约30%的漏检雀斑被发现。然而，这些雀斑通常尺寸较小，不会影响整体的修饰图像质量。大约10%的雀斑是假雀斑，有时会产生修饰。
鼻孔、外眼角和表现性皱纹（见图10 a-c，例如）。雀斑检测的一些例子如图10所示。本研究的主要影响似乎是全自动雀斑检测的原理可能性。该方法除了可以检测雀斑、瑕疵和其他皮肤损伤（见图10g-10i）。然而，在未来的工作中，雀斑的检测和修整的准确性必须提高。其中一个可能的方向是利用纹理特征，因为雀斑或瑕疵附近的纹理不同于健康的皮肤纹理，这种变化可能是有用的检测特征。另一个方
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
