使用两个Kinect快速捕获个性化人体外文翻译资料

 2021-12-11 08:12

本科生毕业设计(论文)外文文献翻译

学生姓名: 叶慧玲

导师姓名、职称: 郭巍

所属学院: 汽车工程学院

专业班级: 车辆1505

设计(论文)题目: 基于汽车碰撞假人的中国50分位人体几何轮廓建模方法研究

2019 年 02 月 28 日

JournalofManufacturingSystems33(2014)233–240

使用两个Kinect快速捕获个性化人体

作者:YinChen,GangDang,Zhi-QuanCheng,KaiXu

摘要:我们提出了一个使用两个Kinect快速捕获个性化3D人体的系统。该系统的关键特征在于捕获过程可以在3秒的时间内瞬间完成,这足以使被捕获的人稳定且舒适地保持静态姿势。通过两个校准的Kinect同时捕获人的正面和背面来实现这种快速捕获。为了减轻视角限制,两个Kinect由它们的自动马达驱动,分别从正面和背面捕获覆盖人体上、中、下三个部分的扫描信息,使每个Kinect都进行三次局部扫描。在去噪之后,使用新型超对称三阶图匹配算法将所有局部扫描刚性地对准在一起。由于这些局部扫描信息都可以在瞬间被捕获,因此由身体运动引起的差异可忽略,从而节省了进行非刚性对准的时间。使前后扫描之间缺失的间隙用二次贝塞尔曲线填充。最终重建的网格模型较好的保留了人的发型,面部特征以及皱纹等个性化细节。

关键词:人体捕获;Kinect刚性对齐;个性化人体;

引言

体感交互技术的快速发展成为计算机图形应用发展的新动力。例如,最近发布的微软Kinect[1]已经使得体感游戏普遍存在。体感交互的关键组成部分是3D虚拟模型,它是用户自我的数字化3D表示。用户可以通过他的虚拟模型与虚拟世界进行交互。

构建3D虚拟模型的一个重要目标是使其尽可能与用户相似,与其他人的区别,实现所谓的个性化人体。个性化人体有许多影响因素,如面部,衣服,发型等。在所有因素中,体形是建模难度和可靠性之间的良好平衡点。在这项工作中,我们使用Kinect构建个性化3D模型,此模型不仅拥有准确的身体形状,还适度保留了人物发型,面部特征和衣服褶皱。

全身人体捕捉建模的传统方法通常依赖于复杂且昂贵的设备,类似于SCAPE[2]和Cyber​​ware[3]三维扫描系统,这使得临时用户很难在实验室创建他的虚拟模型。而微软的Kinect作为一个廉价的深度摄像机,常被用来捕捉人体数据[4,5]。但是,Kinect超过一定距离后捕获的深度数据质量极低,难以直接用于构建精确的3D模型。Weiss等[4]使用单个Kinect捕获了整个裸露的人体。为了获得准确的3D形状信息,用户必须在传感器前面执行一系列不同的姿势。将多个单目视图结合起来,使用SCAPE模型同时计算出身体形状和姿势[2]。

在我们的系统中,不考虑姿势的影响,就像摄像机一样实现人体的快速捕捉。Tong等人也提出过类似的系统[5]:通过使用三个校准的Kinect捕捉静止站在转盘上约30秒的人,从而获得三维人体模型。我们使用的则是两个易于校准的Kinect但没有转盘构的系统,相比之下,我们的系统更灵活、简单。更重要的是,(与Tong等人[5]的几分钟相比)我们的系统可以在3秒内完成捕获并在约1分钟内构建个性化模型。前者是通过简单的几何校准方法实现的,而后者则通过新型快速高阶图匹配算法。这些特点使得该系统易于使用,更加适合实验室外的环境。

在心理学研究中,一般认为3s是一个人在行为上表达主观经验的基本时间结构块[6],而在感知上,对于普通人来说,很难在较长的时间内保持静止的姿势。因此,我们构建了一个用户友好型三维人体捕获系统,捕获过程可以快速完成。据我们所知,这是第一个满足时间要求的人体捕捉系统。此外,我们的系统可以获得细节较好的三维表面模型(见图1)包括发型,布纹等。

图1 系统设置示意图:两个Kinect分别位于被捕人员的正面和背面,相距1.5-3米,高度为人体高度的一半

相关工作

典型的用于捕捉人体细节的三维扫描设备是激光扫描仪,它是一种使用激光捕捉物体的主动式设备。Cyber​​ware全身彩色3D扫描仪[3]可以在大约17秒内捕获个性化人体模型。然而,该系统不仅对于临时用户来说太昂贵了而且要求用户保持静态姿势17秒,这比人体所能保持静止的时间长得多。

微软的Kinect[1]是一种更便宜的替代品,关于它的扫描和使用也有很多研究。Izadi等[7]提出了一种基于GPU的方法,用于同步Kinect摄像机跟踪和刚性表面重建。

崔等人[8]开发了一个系统,用于扫描在静态的Kinect前连续转动约30秒的人从而获得较粗糙的三维模型。Weiss等[4]在参数化的SCAPE模型[2]的辅助下,使用单个Kinect构建了一个较好的捕捉移动人体三维模型的系统。RGB图像中的轮廓和深度数据都用于形状和姿势估算。由于SCAPE模型中PCA极限尺寸的限制,重建模型的质量不够高,无法区分人类。Tong等人[5]成功提出了一个通过使用三个Kinects和一些附加设备的系统,该系统可以在大约30秒内捕获3D人体模型。但由于系统设置的复杂性和捕获时间,这些现有系统的应用受到了一定限制。

到目前为止,现有的系统都不能满足快速捕获的要求,即在普通人稳定舒适地保持静态姿势的时间3秒时间内实现快速捕捉[6,9]。在本文中,这个时间是我们构建捕获系统的重要目标。

概述

我们的捕获系统配置如图1所示。两个具有相反方向的Kinect位于被捕者的前面和背面。两个Kinect之间的距离约为1.5~3米,相机的高度大约在人的一半的高度上。请注意,由于我们的系统使用了方便的校准机制,因此这种配置非常灵活(参见第4.1节)。

在捕捉期间,用户站在两个Kinect的中间并保持静态姿势。用户基本上可以采取任何无遮挡的姿势,如图1所示。由于Kinect摄像机的视角为43°且有效扫描距离有限,每个Kinect只能扫描人体的一部分,因此,我们使用安装在Kinect摄像机上的电机驱动器将其俯仰角度调整到-30°,0°和 30°,捕获覆盖在身体上部,中部和下部的三帧,两个Kinect则可以捕获六帧。每一帧都是人体扫描的一部分,具有640times;480深度图像以及640times;480彩色图像。扫描点的三维坐标通过OpenNI包[11]自动计算。使用OpenNI,我们还可以使用Kinect的电机驱动程序,在彩色图像和深度图像之间实现自动配准。

头像捕获和重建

在两个Kinect正确放置并定位之后,我们的系统就建立起来了。系统分为六个阶段:Kinect校准,捕获,扫描去噪,扫描对齐,后处理和网格重建。由于捕获过程已在系统概述中讨论过,因此本节将重点介绍其余阶段。

图2 系统快照(左)和三个部分的扫描:由前面的Kinect捕获的人体上部、中部和下部

Kinect几何校准

Kinect校准的目标是:对于任何给定的3D点,由两个Kinect捕获的3D坐标在同一参考系中对齐。与计算机视觉中广泛采用的多视图相机的传统校准方法不同[12],我们充分利用深度数据,并利用几何信息进行多个Kinect的校准。校准被简化为几何对准问题且可以在扫描对准阶段中重复使用相同的过程。

为了执行校准,我们让两个Kinect捕获相同的对象并基于两个部分扫描的重叠区域进行对齐。

为了最大化重叠,我们只需在两个Kinect之间放置一张揉皱再展开的A4纸(如图中所示),作为几何校准对象。一方面,纸张足够薄,当两侧捕获的扫描对齐良好时,两个Kinect可以很好地校准,另一方面,折叠的纸张包含丰富的几何细节,这有助于几何对齐。具体来说,我们采用超对称三阶图匹配算法,详见4.3节,执行两次扫描的刚性对齐,并以几何方式校准两个Kinect。

扫描去噪

通过调整[13]中的深度过滤技术,我们分三步进行局部扫描的合并,即区域检测,离群值去除和空间过滤。对于区域检测,我们使用Sobel近似算子来检测边缘像素,并通过阈值化深度梯度幅度去除不可靠像素(例如深度边缘附近的像素),类似于[13]。而我们的方法与[13]中的方法的主要区别在于我们只关注空间滤波而不是[13]中的时间空间滤波。空间滤波可以有效地对Kinect获得的深度数据进行去噪,如图3所示。

图3 去噪示例:输入(左)和去噪(右)

扫描对齐

这一步涉及到每个Kinect获得的三个局部扫描的成对刚性对齐,与前面两个Kinect的几何对齐使用的是相同的技术。迭代最近点(ICP)[14]也许是最被人熟悉的方法。然而,当要对准的两个点云具有小的重叠时,基于ICP的算法不能就很好地工作了,这也是我们系统存在的情况,因为Kinect以不同的俯仰角度捕获的局部扫描不会重叠太大。我们的对齐方法是基于三阶图匹配技术[15]的,但是,我们利用超对​​称张量来表示亲和度量以实现加速计算。[16]中也讨论了更高阶、更通用的公式。

与超对称张量匹配的三阶图

我们使用了一种高效的三阶图匹配的方法来进行点云匹配,这种方法利用了超对称张量表示方法。

定义1(三阶超对称张量):给定两个分别含有和特征的特征集和,使得和中所有的特征元组成为和的特征元组,并且和的特征元组之间存在一定的联系关系。各向同性超对称张量是一个三阶非负张量,它含有一组指数和三阶势能函数,例如

其中,,是分别来自和的特征点,,,Omega;表示矢量的任意置换。,。

具有的张量元素被称为潜在元素,而其他元素被称为非潜在元素。潜在元素表示所有可能的匹配候选中的一个。对于集合,由于所有元素都基于新定义都具有相同的张量值,因此可以用代表所有潜在元素。我们收集了集合中的所有代表性元素,此外,由于非潜在元素的值为零,因此不需要存储它们。

这两个特征集之间的匹配可以由中的赋值矩阵表示,其中每个元素表示在匹配中被选择(如果)或者没被选择(如果)。从三阶张量观点来看,匹配问题相当于找到最优分配矩阵,满足[17]

如果点与点匹配,则乘积将等于1,否则为0。是赋值集的各向同性度,如果元组中的特征值与元组中的特征值相似度很高,那么它们的潜在值也是相似的。

算法1. 三阶超对称张量幂迭代法求解(-规范)

输入:三阶超对称张量

输出:赋值矩阵,所有列都具有单位范数

1: Initialize to a matrix with all columns with unit -norm, m -1

2: Initialize to a matrix with =

3: repeat

4: set to 0

5: for each element of Gamma; do

6:

7:

8:

9: end for

10:

11:

12: until convergence

13:

这个高阶张量方程(2)可以通过[18]中给出的超对称高阶幂方法(S-HOPM)来解决。S-HOPM一共在两个迭代步骤中完成:X的高阶幂迭代,然后是X的归一化弗罗贝尼乌斯的规范。如[15],我们可以将集合A放宽到,其中每个矩阵对于所有列都有单位范数。然后我们应该解决的方程变成方程(3)而不是方程(2)

等同于解决

其中,是一个其中每个矩阵所有列都具有的单位范数的矩阵集。然后我们可以使用拥有单位范数的S-HOPM算法框架来解决方程(4)。通过考虑我们的各向同性超对称张量定义1,我们将进一步推导出表达式:

方程(5)比文献中的早期表达更紧凑,因为它将所有对称相关的潜在元素作为单项处理。

我们的三阶势函数phi;链接点特征三元组,其中由三个点形成的三角形在旋转和平移下是相似的。

其中εgt;0,是内核带宽,它被自动确定为所有差异的平均值。和是由特征三元组和形成的边长(欧几里德距离):见图4整个求解过程列于算法1中。

我们的方法的效率受益于两个因素。首先,我们利用超对​​称性来导出方程(5)中的,仅使用单个规范元素进行计算。其次,功率迭代仅考虑非零潜在元素,并从迭代过程中排除每个非潜在元素。整个迭代过程的复杂性仅取决于数量|Gamma;|。因此,该方法还在保持准确性的同时减少了存储成本。

图4 我们的三阶势中使用的特征图示,其中边长度对于刚性变换是不变的

成对部分扫描对齐

我们使用

英语原文共 8 页

资料编号:[5802]

原文和译文剩余内容已隐藏,您需要先支付 30元 才能查看原文和译文全部内容!立即支付

以上是毕业论文外文翻译,课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。