SCAPE: Shape Completion and Animation of People
Dragomir Anguelovlowast; Praveen Srinivasanlowast; Daphne Kollerlowast; Sebastian Thrunlowast; Jim Rodgerslowast; Stanford University
James Davisdagger;
University of California, Santa Cruz
Figure 1: Animation of a motion capture sequence taken for a subject, of whom we have a single body scan. The muscle deformations are synthesized automatically from the space of pose and body shape deformations.
Abstract
We introduce the SCAPE method (Shape Completion and Animation for PEople) — a data-driven method for building a human shape model that spans variation in both subject shape and pose. The method is based on a representation that incorporates both articulated and non-rigid deformations. We learn a pose deformation model that derives the non-rigid surface deformation as a function of the pose of the articulated skeleton. We also learn a separate model of variation based on body shape. Our two models can be combined to produce 3D surface models with realistic muscle deformation for different people in different poses, when neither appear in the training set. We show how the model can be used for shape completion — generating a complete surface mesh given a limited set of markers specifying the target shape. We present applications of shape completion to partial view completion and motion capture animation. In particular, our method is capable of constructing a high-quality animated surface model of a moving person, with realistic muscle deformation, using just a single static scan and a marker motion capture sequence of the person.
CR Categories: I.3.5 [Computer Graphics]: Computational Geometry and Object Modeling—Hierarchy and geometric transformations; I.3.7 [Computer Graphics]: Three-Dimensional Graphics and Realism—Animation
Keywords: synthetic actors, deformations, animation, morphing
1 Introduction
Graphics applications often require a complete surface model for rendering and animation. Obtaining a complete model of a particular person is often difficult or impossible. Even when the person lowast;e-mail: {drago,praveens,koller,thrun,jimkr}@cs.stanford.edu dagger;e-mail: davis@cs.ucsc.edu
can be constrained to remain motionless inside of a Cyberware full body scanner, incomplete surface data is obtained due to occlusions. When the task is to obtain a 3D sequence of the person in motion, the situation can be even more difficult. Existing marker-based motion capture systems usually provide only sparse measurements at a small number of points on the surface. The desire is to map such sparse data into a fully animated 3D surface model. This paper introduces the SCAPE method (Shape Completion and Animation for PEople) — a data-driven method for building a unified model of human shape. Our method learns separate models of body deformation — one accounting for changes in pose and one accounting for differences in body shape between humans. The models provide a level of detail sufficient to produce dense fullbody meshes, and capture details such as muscle deformations of the body in different poses. Importantly, our representation of deformation allows the pose and the body shape deformation spaces to be combined in a manner which allows proper deformation scaling. For example, our model can correctly transfer the deformations of a large person onto a small person and vice versa. The pose deformation component of our model is acquired from a set of dense 3D scans of a single person in multiple poses. A key aspect of our pose model is that it decouples deformation into a rigid and a non-rigid component. The rigid component of deformation is described in terms of a low degree-of-freedom rigid body skeleton. The non-rigid component captures the remaining deformation such as flexing of the muscles. In our model, the deformation for a body part is dependent only on the adjacent joints. Therefore, it is relatively low dimensional, allowing the shape deformation to be learned automatically, from limited training data. Our representation also models shape variation that occurs across different individuals. This model component can be acquired from a set of 3D scans of different people in different poses. The shape variation is represented by using principal component analysis (PCA), which induces a low-dimensional subspace of body shape deformations. Importantly, the model of shape variation does not get confounded by deformations due to pose, as those are accounted for separately. The two parts of the model form a single unified framework for shape variability of people. The framework can be used to generate a complete surface mesh given only a succinct specification of the desired shape — the angles of the human skeleton and the eigen-coefficients describing the body shape. We apply our model to two important graphics tasks. The first is partial view completion. Most scanned surface models of humans
have significant missing regions. Given a partial mesh of a person for whom we have no previous data, our method finds the shape that best fits the observed partial data in the space of human shapes. The model can then be used to predict a full 3D mesh. Importantly, because our model also accounts for non-rigid pose variability, muscle deformations associated with the particular pose are predicted well even for unobserved parts of the body. The second task is producing a full 3D animation of a moving person from marker motion capture data. We approach this problem as a shape completion task. The input to our algorithm is a single scan of the person and a time series of extremely sparse data — the locations of a limited set of markers (usually between 50 and 60) placed on the body. For each frame in the sequence, we predict the full 3D shape of the person, in a pose consistent with the observed marker positions. Applying this technique to sequences of motion capture data produces full-body human 3D animations. We show that our method is
剩余内容已隐藏，支付完成后下载完整资料
景观:人的形状完成和动画。
他说:“这是一个非常好的例子。”
詹姆斯·戴维斯__
加州大学圣克鲁斯分校。
图1:一个物体的动作捕捉序列的动画，我们有一个身体扫描。肌肉的变形是由姿势和身体形态的变形自动合成的。
文摘
我们介绍了景观方法(形状完成和人物动画)-一种数据驱动的方法来建立一个人的形状模型，它跨越了主体形状和姿态的变化。该方法是基于一个包含铰接和非刚性变形的表示。我们学习了一种姿态变形模型，它将非刚性表面变形作为关节骨架的姿态函数。我们还学习了一个基于身体形状的不同的变异模型。我们两个模型都可以组合在一起以产生三维表面模型与现实的肌肉变形对不同的人在不同的姿势,当没有出现在训练集。我们展示模型可以用于形状完成,生成一个完整的表面网格给定一组有限的标记指定目标的形状。我们提出了形状补全的应用，以部分视图完成和动作捕捉动画。特别地，我们的方法能够构建一个高质量的运动物体表面模型，具有真实的肌肉变形，只用一个静态扫描和一个人的标记动作捕捉序列。
CR类别:I.3.5[计算机图形]:计算几何和对象模型-层次和几何变换;I.3.7[计算机图形]:三维图形和现实动画。
关键词:合成演员，变形，动画，变形。
1介绍
图形应用程序通常需要一个完整的表面模型来渲染和动画。获得一个特定的人的完整模型通常是困难的或不可能的。即使人lowast;电子邮件:{德拉戈,praveen科勒、杜伦jimkr } @cs.stanford.edu __电子邮件:davis@cs.ucsc.edu
可以被限制在一个全身体扫描仪内静止不动，不完整的表面数据是由于遮挡而得到的。当任务是获得一个人在运动中的三维序列时，情况可能会更加困难。现有的基于标记的动作捕捉系统通常只在表面上少量的点上提供稀疏测量。其愿望是将这些稀疏的数据映射到一个完整的动画三维曲面模型中。本文介绍了一种基于数据驱动的人型模型的构建方法(形状完成和动画)。我们的方法学习不同的身体变形模型——一个解释姿势的变化，一个解释人类身体形状的差异。这些模型提供了足够的细节来产生密集的全身网格，并捕捉细节，如身体的肌肉变形，在不同的姿势。重要的是，我们的变形表现允许摆姿势和身体形状的变形空间结合在一起，允许适当的变形缩放。例如，我们的模型可以正确地将一个大的人的变形转移到一个小的人身上，反之亦然。我们的模型的姿态变形部分是从一组密集的三维扫描中获得的。我们的姿态模型的一个关键方面是它将变形解耦成一个刚性的和非刚性的分量。刚性构件的变形被描述为低自由度刚体骨架。非刚性组件捕捉到剩余的变形，例如肌肉的收缩。在我们的模型中，身体部分的变形只依赖于相邻的关节。因此，它是相对较低的维度，允许从有限的训练数据自动地学习形状变形。我们的表现也塑造了不同个体之间的变化。该模型组件可以从不同姿态的不同人的一组3D扫描中获得。利用主成分分析(PCA)对形状变化进行表征，从而归纳出一种低维空间的形体形变。重要的是，形状变化的模型并不会因为姿态的变形而被混淆，因为它们是分开计算的。该模型的两部分组成了一个单一的统一的框架，用于人的形状变化。该框架可用于生成一个完整的表面网格，只给出了所需形状的简明规范——人体骨骼的角度和描述身体形状的特征系数。我们将模型应用于两个重要的图形任务。第一个是部分视图完成。大多数扫描的人体模型有重大缺失的地区。给定一个人的部分网格，我们没有以前的数据，我们的方法找到最适合在人类形状空间中观察到的部分数据的形状。该模型可以用来预测一个完整的三维网格。重要的是，因为我们的模型也解释了非刚性的姿势变化，与特定姿势相关联的肌肉形变，即使对身体未观察到的部位也能很好地预测。第二个任务是产生一个完整的3D动画，一个移动的人从标记动作捕捉数据。我们将这个问题作为一个形状完成任务来处理。我们的算法的输入是一个人的单次扫描和一个时间序列极其稀疏的数据——一组有限的标记(通常在50到60之间)放置在身体上。对于序列中的每一个帧，我们都可以根据观察到的标记位置来预测这个人的完整三维形状。将此技术应用到动作捕捉数据序列中，可以产生人体三维动画。我们展示了我们的方法能够构建高质量的动画，并具有真实的肌肉变形，对于那些我们只有一个范围扫描的人。在这两项任务中，我们的方法允许改变个体的体型。例如，它允许合成一个具有不同体型的人，而不是在最初的扫描组中出现。这个新角色的动作也可以被合成，或者是基于一个真实的人的动作捕捉轨迹(类似大小)，或者是由一个动画师设定的关键帧。因此，我们的方法使得我们可以为那些不包含在任何可用数据源中的人创建逼真的形状完成和稠密的3D动画。
2相关工作
最近的基于实例的学习变形人类模型的方法是通过实例表面的点位移来表示变形，相对于一般的模板形状。对于造型变形，模板形状通常被认为是一个铰接模型。一种称为剥皮的流行动画方法(在[Lewis et al. 2000]中描述)假设，点位移是由相邻关节的加权集合(通常是线性的)产生的。Allen等人(2002年)提出了一种更复杂的方法，他将一个关节模型(表示为可分割的细分模板)注册，以扫描不同姿态的人。通过从一组相似角度的扫描图中插值来预测新姿态的位移。各种相关的方法[Lewis et al. 2000;斯隆et al . 2001;小王和菲利普斯2002;Mohr和Gleicher 2003的不同之处仅在于表示点位移的细节，以及使用的特定插值方法。姿态变形的模型不仅可以从3D扫描中得到，还可以通过结合轮廓和标记动作捕捉序列(Sand et al. 2003)来学习。然而，以上这些方法都不能学习不同个体之间形状变化的模型。为了模拟不同人群的体型变化，Allen等[2003]将一个通用模板形状转换成250个不同人类的扫描图。通过对模板点的位移进行主成分分析(PCA)，获取人体形状的可变性。该模型用于填充扫描，并为在标准姿势中捕获的人装配一组稀疏标记。另一种方法，通过Seo和Thalmann[2003]，将身体形状的变形分解为刚性的和非刚性的部分，后者也表示为PCA，超过点的位移。这两种方法都不能学习构成变形的模型。然而，他们通过使用专家设计的皮肤模型来展示初步的动画效果。动画是通过将身体形状的空间和剥皮模型转化成对应关系来完成的(这可以用手动或半自动的方式来完成[Hilton et al. 2002])，并增加了对人体形状造成变形的点位移。这种剥皮模型是标准动画包的一部分，但由于它们通常不是从扫描数据中学习的，所以它们通常不会精确地模拟肌肉变形。
图2:用于生成训练集的网格处理管道。(a)我们获得了两个数据集，它们跨越了不同的人体姿势和不同的物理特性，形成了形状变化。(b)我们通过手工绘制模板网格和每一个范围扫描来选择一些标记。(c)我们应用相关的对应算法，计算大量额外的标记。(d)我们使用标记作为非刚性注册算法的输入，产生完全注册的网格。(e)我们应用一个骨架重建算法从已注册的网格中恢复一个铰接骨架。(f)我们学习因姿势和体型而变形的空间。
建立一个数据驱动的姿态模型和体形形变的一个明显的方法是将两种现有的方法以相似的方式进行集成。主要的挑战在于找到一种基于点位移的两种不同变形模型的好方法。点位移不能以一种有意义的方式乘起来;添加它们忽略了一个重要的规模概念。例如，在一个大的个体上学习的位移不能被添加到一个没有不良工件的小个体的形状上。这一问题在变形转移和表达克隆的领域中早已为人所知[Noh和Neumann 2001]。为了解决这个问题,我们采取一个灵感在萨姆纳的变形传输方法和Popoviacute;c[2004]。它显示了如何将一个网格的变形重新定位到另一个网格，假设它们之间存在点对点通信。保持适当的缩放变形转移,由代表每个多边形的变形使用3times;3矩阵。它提出了一种将姿势变形映射到各种人体物理上的方法。然而，它并没有解决代表和学习一种可变形的人类模型的任务，这是本文所要解决的问题。与我们的工作密切相关的多线性模型已被应用于图像的人脸变异(Vasilescu和Terzopoulos 2002)。人类面孔的生成模型必须处理像光照、表达和观点等多种形象创造因素。人脸被建模为线性外观模型的乘积，对应于各种因素的影响。目前正在进行的工作是应用多线性方法来模拟三维表面形变[Vlasic et al. 2004]。我们的方法将这个想法适应于人体形状的空间，它展示了使人体建模有别于脸部建模的铰接结构。特别是，我们直接将表面形变与底层人体骨架联系起来。这样的模型不足以解决表面变形，因为变形的一个重要部分是纯肌肉的，与骨架无关。我们的形状完成应用程序与在填空区域的工作有关。用扫描仪获得的表面通常是不完整的，并且有孔。完成这些孔的一种常见方法是将其填满一个光滑的表面贴片，满足孔的边界条件[Curless和Levoy 1996;戴维斯et al . 2002;Liepa 2003]。当这些孔与表面的几何变化相比很小的时候，这些方法就能很好地工作。相比之下，我们的应用需要填补巨大的漏洞(例如，在一些实验中，超过一半的表面没有被观测到;在另一些情况下，我们只提供稀疏运动捕捉数据，我们用基于模型的方法来解决它。在过去，提出了其他基于模型的孔填充解决方案。Kuml;ahl等。[2002]和Szeliski Lavallacute;ee[1996]使用体积基于模板的方法这个问题。这些方法在很大程度上适用于凸起的物体，例如人的头部，但不容易应用于具有分支的物体，如人体。虽然Allen等[2003]的工作可以用来填充人体，但只有当人类被捕捉到一个特定的姿势时，它才能做到这一点。标记运动捕捉系统广泛应用，可用于获得高质量的移动人体三维模型。现有的动画方法(例如，Allen等，2002;Seo和Magnenat-Thalmann 2003])不使用标记数据，假设系统直接输出适当的骨架角度。他们也不像先前讨论的那样处理身体形状的变化。这两种限制都在我们的工作中被取消了。
3获取和处理数据网格。
景观模型采集是数据驱动的，所有关于形状的信息都是从一组范围扫描中得到的。本节描述了数据采集和数据网格预处理的基本管道。图2中显示的这条管道主要由以前发布的方法组合而成。管道的具体设计对本文的主要贡献是不重要的;我们首先介绍用于学习模型的数据类型。范围扫描我们使用Cyberware WBX全身扫描仪获得了我们的表面数据。扫描器同时从四个方向扫描范围扫描，模型包含大约200K个点。我们使用这个扫描器来构建全体实例网格，通过合并四个扫描视图[Curless和Levoy 1996]，并将实例采样到大约50,000个三角形[Garland和Heckbert 1997]。使用上面的过程，我们得到了两个数据集:一个pose数据集，它包含了一个特定的人的70个姿势的扫描，以及一个身体形状的数据集，其中包含了37个不同的人(但不完全相同)的扫描。我们还从凯撒数据集(Allen et al. 2003)中添加了8个公开可用的模型到我们的个人数据集。我们选择了其中一个网格的姿态数据集为模板网格;所有其他网格将被称为实例网格。模板网格的功能是作为所有其他扫描的参考点。模板网格是由Davis等人的算法填充的。[2002]。在获得模板网格的过程中，我们确保了只有小洞仍然在腿和腋窝之间。模板网格和一些样本实例网格如图2(a)所示。注意，为了隐藏扫描对象的身份，头部区域在一些图形中平滑;在学习算法中使用了完整的扫描。
对应于数据采集管道的下一步，将模板网格与其他网格实例对应起来。目前的非刚性注册算法要求在每个实例网格和模板之间有一组对应的标记(Allen等[2003]使用了大约70个标记进行注册)。我们使用一种称为关联通信(CC) [Anguelov et al. 2005]的算法来获得标记。CC算法计算每个实例网格的一致嵌入到模板网格中，使变形最小化，并匹配相似的表面区域。为了打破扫描对称性，我们通过在每一对扫描上手工放置4-10个标记来初始化CC算法。该算法的结果是在两个表面之间的一组140-200(近似)对应标记，如图2(c)所示。非刚性配准是两个网格之间的一组标记，非刚性配准的任务很好理解，存在多种算法[Allen et al. 2002;Huml;ahnel et al . 2003;萨姆纳和Popoviacute;c 2004]。任务是将网格划分为紧密对齐，同时对齐标记。我们使用一个标准算法(Huml;ahnel et al . 2003]注册模板网的网格在我们的数据集。因此,我们获得一组相同的网格拓扑结构,其形状近似原控件表面扫描。图2(d)中显示了几个网格。如前言所述，我们的模型采用了低自由度骨架模型来模拟关节运动。我们为模板网格自动构建一个框架，只使用数据集中的网格。我们应用了[Anguelov et al. 2004]的算法，该算法使用一组在各种配置中对单个主体进行的注册扫描。该算法利用了相同骨架节点上的顶点在空间上相邻的事实，并在不同的扫描中显示相似的运动。它会自动地将物体分解成大约刚性的部分，在不同的对象实例中部件的位置，以及连接部件的铰接物体骨架。基于我们的姿态数据集，该算法自动构建了一个包含18个部分的骨架。该算法将crotch区域和胸部区域分割成两个对称部分，形成了一个非树状结构的骨架。为了便于编辑，我们把每个区域的两个部分合并成一个。结果是一具有16个零件的树结构的铰接骨架。数据格式和假设结果数据集由一个模型网格X和一组实例网格Y = {Y1，hellip;，YN}组成。模型网格X ={VX,PX}有一组顶点VX ={x1，hellip;，xM}和一组三角形PX ={p1，hellip;，pP}。实例网格分为两类:对同一个人进行各种姿势的扫描，并以大致相同的姿势对多人进行扫描。由于我们的预处理，我们可以假定每个实例网格都有相同的点和三角形作为模型网格，尽管是不同的配置。因此，让Yi ={Yi 1，hellip;，yiM}为实例网格Yi的集合。如同我们每个实例的映射网格上铰接模型在预处理阶段,我们也有,为每一个网,一组绝对旋转Ri刚性部件的模型,在国际扶轮的旋转接头的实例。数据采集和预处理管道为我们提供了这种类型的数据;然而，任何其他生成类似数据的技术也将适用于我们的学习和形状完成方法。
4造成变形
这和下面的部分描述了景观模型
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[22237]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
