工程
计算机视觉应用的Kinect深度传感器评估
电气与计算机工程
ECE-TR—6技术报告
奥胡斯大学工程系
基本信息
标题：计算机视觉应用的Kinect深度传感器评估
副标题：电气与计算机工程
系列标题和编号：ECE-TR—6技术报告
作者：M.R.Andersen，T.Jensen，P.Lisouski，A.K.Mortensen，M.K.Hansen，T.Gregersen和P.Ahrendt
工程–电气与计算机工程系，奥胡斯大学
网络版：本报告以单子版(pdf)存在于工程网站http://www.eng.au.dk.
出版商：奥胡斯大学
出版年份：2012页：页数：37
编辑完成：2012年2月
摘要：
这篇技术报告介绍了我们将微软的Kinect深度传感器应用于计算机视觉的评估结果，这种深度传感器能够像普通相机一样返回照片，但照片的每一个像素点代表的是到某一点距离信息而不是颜色信息，因此，该传感器被视为一个测距相机或者3D相机。我们已经将Kinect深度传感器用于几个不同计算机视觉项目，本篇文章也收集了我们的项目应用经验。我们只关注传感器的深度传感能力，因为该产品的真正新颖之处在于它和计算机视觉相关联，深度传感器的基本原理通过释放红外线（利用一个红外激光二极管）计算来自不同位置的反射光的距离(利用一个传统的红外传感器相机)。在这篇报告中，我们对深度传感器进行了广泛评估并研究了相关问题，例如：三维分辨率及精度、结构噪声、多相机设置和传感器瞬时响应，目的就是帮助读者建立一个依据充分的知识背景，从而判断Kinect传感器是否能够应用于某一具体问题。
关键词：Kinect传感器、计算机视觉、机器视觉、深度传感器、测距相机
引用此文时请写：M.R.Andersen,T.Jensen,P.Lisouski,A.K.Mortensen,M.K.Hansen,T.GregersenandP.Ahrendt:KinectDepthSensorEvaluationforComputerVisionApplications,2012.DepartmentofEngineering,AarhusUniversity.Denmark.37pp.-TechnicalreportECE-TR-6
封面照片：Kinect深度传感器发出的红外图像。是在木墙上用kinect传感器本身自带的内窥镜拍摄的图像。
ISSN:2245-2087
版权所有，违者必究
计算机视觉应用的Kinect深度传感器评估
M.R.Andersen，T.Jensen，P.Lisouski，A.K.Mortensen，M.K.Hansen，T.Gregersen和P.Ahrendt奥胡斯大学工程系
摘要
这篇技术报告介绍了我们将微软的Kinect深度传感器应用于计算机视觉的评估结果，这种深度传感器能够像普通相机一样返回照片，但照片的每一个像素点代表的是到某一点距离信息而不是颜色信息，因此，该传感器被视为一个测距相机或者3D相机。我们已经将Kinect深度传感器用于几个不同计算机视觉项目，本篇文章也收集了我们的项目应用经验。我们只关注传感器的深度传感能力，因为该产品的真正新颖之处在于它和计算机视觉相关联，深度传感器的基本原理通过释放红外线（利用一个红外激光二极管）计算来自不同位置的反射光的距离(利用一个传统的红外传感器相机)。在这篇报告中，我们对深度传感器进行了广泛评估并研究了相关问题，例如：三维分辨率及精度、结构噪声、多相机设置和传感器瞬时响应，目的就是帮助读者建立一个依据充分的知识背景，从而判断Kinect传感器是否能够应用于某一具体问题。
第一章介绍
微软公司的Kinect传感器于2010年11月作为Xbox360游戏机的输入设备推向市场，并且是一款非常成功的产品，2011年3月销售的设备超过1000万台[1]。计算机视觉协会很快发现，Kinect的深度感应技术可以用于游戏以外的其他目的，并且成本比传统3D相机（例如基于飞行时间的相机）低得多。2011年6月，微软发布了Kinect的软件开发工具包（SDK），使其可以用作非商业产品的工具，并激发对产品的进一步兴趣[2]。
Kinect传感器背后的技术最初由PrimeSense公司开发，该公司发布了SDK版本，与Kinect一起使用，作为OpenNI组织的一部分[3]。SDK应该独立于设备，而且到目前为止，华硕公司还生产一种传感器，其功能与Kinect传感器（包括深度传感）相同，可与OpenNISDK配合使用。
实际上第一种使用Kinect传感器的方法来自于“黑客社会”，该方案对Kinect设备中的USB数据流进行了反向设计（在任何SDK发布之前）。这导致OpenKinect社区在多个平台上“开发免费的开源软件”[4]。
来自计算机视觉协会的传感器引起了很多兴趣，然而，目前还没有很多关于传感器的广泛的科学研究。在文献[6]中，传感器的校准以及关于具有重叠视场的多个传感器的问题进行了调查。在[7]中，传感器用作动作捕捉系统，[10]评估室内地图构建的传感器。在[9]中对Kinect传感器的深度测量结果进行了仔细的误差分析。
我们的方法是面向系统的，并涉及构建具有深度传感器的真实计算机视觉系统的许多不同问题。问题包括软件框架的选择，深度分辨率和精度，空间分辨率和精度，结构噪声和多凸轮设置。
第2章Kinect深度传感器技术
Kinect深度传感器背后的基本原理是发射IR图案（参见图2.1a），并使用装有红外通滤波器的（传统）CMOS相机同时拍摄红外图像（图2.1b）。Kinect的图像处理器使用图案中点的相对位置来计算图像中每个像素位置处的深度位移[8]，[9]。应该指出的是，实际深度值是相机激光平面的距离，而不是距传感器本身的距离（图2.3）。因此，深度传感器可以被看作是返回（x，y，z）坐标的3D对象的设备。
Kinect硬件规格已经在许多文档中有所描述[5]，[1]。主要的标称规格如表2.1所示。以下是我们将更详细评估和调查的规格。
|
属性 |
数值 |
|
角度视场 |
水平57◦,垂直43◦. |
|
帧率 |
大约30Hz |
|
名义空间范围 |
640x480(VGA) |
|
标称空间分辨率（距离2米） |
3mm |
|
标称深度范围 |
0.8m-3.5m |
|
标称深度分辨率（距离2米） |
1cm |
|
设备连接类型 |
USB( 外接电源) |
表2.1：Kinect硬件规格
外部红外摄像机
Kinect红外摄像机
图2.1：这些图显示了Kinect发射的红外图案。该模式已经用外部红外相机和Kinect内部的红外相机记录下来。Kinect红外摄像机略微弯曲图案（在图案中视为漩涡）。图2.2显示了用外部红外摄像机记录的红外图案的特写图像。
图2.2：该图显示了Kinect发射的红外图案特写。
图像已用外部红外相机记录下来。
图2.3：该图描述了Kinect深度估算应如何解释。深度是从物体到相机激光平面的距离的估计，而不是从物体到传感器的实际距离。
第3章软件框架的比较
目前，有三种软件框架可用于Kinect传感器-微软SDK[2]，OpenNI[3]和OpenKinect[4]。我们的第一次调查涉及这些框架之间的选择。MicrosoftSDK仅适用于Windows7，而其他两种框架则是多平台和开源的。另一个区别是，MicrosoftSDK仅提供深度值高达约4米，而其他两个框架则高达9米以上。由于在较远的距离上具有较低的分辨率和抗噪声能力，这很可能是微软的选择，但是，我们的经验是，深度数据仍然可以轻松使用超过4米。MicrosoftSDK的深度也限制在0.8米以上，而其他两个框架则降至0.5米。
图3.1显示了三个软件框架中每一个的实际深度值的比特值。通过将位模式转换为无符号整数来以标准方式计算位值。可以看出，OpenKinect框架提供未经校准的数据而没有任何线性化。这意味着每个比特值都具有不同的深度值。另外两个框架将比特值线性化，以便它们精确地代表毫米。这在实践中显然更容易使用，但也意味着并非所有位值都是可能的。显然，线性化仅仅对应于查表转换。
图3.2显示了这三个框架的深度分辨率。请注意，深度分辨率是位值之间可能的最小距离。微软和OpenNI框架给出的结果并不奇怪
图3.1：该图显示了三个软件框架中每一个的实际深度值的比特值。
因为它们使用相同的硬件并且都是线性化的，所以结果类似。两个框架的分辨率直接转化为Kinect可以在一定距离测量的最小可能深度差异。例如。在6米处，可测量的最小深度差约为0.1米。这两个框架最显着的区别在于MicrosoftSDK的有限范围。另一方面，OpenKinect框架没有线性化，因此总是具有1位的分辨率。由于深度值不是线性化的，这并不意味着OpenKinect可以减小深度差异。
图3.2：该图显示了三种框架的深度分辨率。
图3.1和3.2都来自初始实验，其中大型纸板箱位于与Kinect传感器不同的距离处，并且纸板箱的一个区域用于将位值与实际测量的深度相关联以及测量深度分辨率。深度分辨率只是纸板箱区域深度值的最小变化。
在评估了所有三个框架之后，我们决定只使用OpenNI框架，原因是前面给出的原因。因此，报告和实验的其余部分仅使用OpenNI框架，这将更详细地进行检查。
第4章传感器的属性
本节的目的是描述Kinect深度传感器的属性。一系列实验构成了深度分辨率，准确度和精度属性以及传感器空间信息描述的基础。
本章中的所有实验都是使用OpenNI软件框架完成的。
4.1线性
为了研究传感器的线性，传感器被指向垂直于不同距离的平坦表面。对于每个距离，深度估计值将在图像中心的一个小区域内进行平均，并与实际距离进行比较。传感器测量范围内的深度估计非常接近线性。这显示在图4.1中，它显示了平均深度值作为距离的函数。测量范围大约为0.5米至9.7米。如果超出测量范围的限制，则深度估计值将设置为0.这表示深度传感器无法进行深度估计。传感器提供的原始测量结果是非线性的，但数据在前面所述的OpenNI软件中被线性化。有关原始数据的非线性的更多信息，请参阅[11]。
图4.1：该图显示了传感器在小面积上的平均深度值与距离的函数关系。传感器测量范围内的深度估计非常接近线性。
4.2深度分辨率
以下描述量化分辨率的实验。在此设置中，深度传感器指向垂直于平面的表面并记录深度框架。这在与平面不同的距离处重复。对于每个距离，记录帧中的所有独特深度值都会被提取并相应排序。由于现实世界是连续的，理想情况下，给定帧中最小深度值和最大深度值之间的所有值都应存在于已排序的深度数据中。但是，由于我们正在处理离散数据，因此我们假定存在最小值和最大值之间的每个可能的离散值。排序列表中两个相邻值之间的最小差异被视为给定距离的分辨率。
结果如图4.2所示，清楚地表明随着距离的增加，分辨率变得越来越粗糙。因此，在为给定的计算机视觉应用使用Kinect传感器之前，有必要考虑范围和分辨率的需求。给定的分辨率可以适用于例如通过大型障碍物导航机器人，但如果您试图从生产线上拿起巧克力按钮，则可能不够。
图4.2：该图显示了深度分辨率与距离的函数关系。
显然，随着距离的增加，决议越来越粗糙。
4.3准确度和精密度
即使传感器设置是静止的，如果人们观察一个给定的深度像素的时间，人们会观察到像素的值会在少量的位级之间波动。为了说明这一现象，我们将Kinect传感器指向一个平面表面，并以每秒15帧的采样速率记录1000帧固定像素的值。从表面到Kinect传感器的实际测量距离约为2米。图4.3显示了特定位置上位值的归一化直方图。像素的值在从2004mm到2040mm的四个不同级别之间波动。也就是说，在2米距离处的精确度大约为40毫米。
图4.3：该图显示了在固定设置中观察到的一个像素的直方图。像素的值有四个不同的级别。箱体之间的间隙是由有限分辨率引起的。
图4.3中箱体之间的间距表明传感器在2米距离处的分辨率约为12mm，这与图4.2一致。然而，重要的是强调并非所有像素都在正好四个不同水平之间波动。为了说明这一点，我们在一段时间内测量了所有640x480像素的级数。结果如图4.4所示，其中显示了一个采样率为每秒15帧的10,000个采样周期内测量的每个像素级别的直方图。再次，
全文共11413字，剩余内容已隐藏，支付完成后下载完整资料
英语原文共 39 页，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[12233]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
