英语原文共 17 页，支付完成后下载完整资料
视觉传感器网络的分散和资源有效的自校准
Jennifer Simonjan lowast;, Bernhard Rinner
Alpen-Adria-Universitauml;tKlagenfurt，网络和嵌入式系统研究所，奥地利克拉根福
摘要
许多多相机应用依赖于各个节点之间空间关系的知识。然而，建立这样的网络范围的校准通常是耗时的任务并且需要用户交互。在本文中，我们提出了一种分散的资源感知算法，它可以在无需任何用户交互的情况下，用于估计所有网络节点的姿态。这种网络的自校准分两步实现：首先，重叠的相机对通过将本地测量的距离和角度与检测到的物体交换来估计相对位置和方向。其次，重叠相机的校准信息遍布整个网络，从而也可以估计非重叠相机的姿势。我们的方法不依赖于先验拓扑信息，而是提供关于公共坐标系的外在摄像机参数。在模拟研究中，我们分析了我们的方法在考虑噪声测量和不同通信方案时实现的空间精度和计算工作的性能。
1.介绍
视觉传感器网络（VSN）现在广泛应用于监控，智能环境或工业自动化等应用领域，并且通常对资源使用和成本有着强烈的要求[1]。此外，许多视觉传感器应用要求摄像机知道它们的邻居节点或甚至所有摄像机节点的已知位置。此类应用的示例包括覆盖优化[2]，摄像机选择[3]，协作跟踪[4-6]和任务分配[7,8]。包括减少通信和网络范围校准的资源效率是许多视觉传感器应用的重要特征，以便自动化网络设置并考虑网络操作期间的拓扑变化。
在本文中，我们设想了自校准摄像机网络。多摄像机网络的自我校准意味着摄像机可以自动估计网络中所有其他摄像机的位置和方向，而无需任何外部交互。为了支持可扩展性和网络动态，我们的目标是完全分散的自校准。
摄像机网络校准区分两组校准参数，即内在和外在参数。内在参数包括焦距，主点和歪斜，外部参数定义相机的位置和方向。全球坐标系。在我们的工作中，我们专注于估计相机的外部参数，同时假设已经知道内在参数。在自校准过程中，摄像机不仅估计其相邻相机的相对角度，还基于相同的坐标系，以便确定公共地平面上所有节点的位置和方向。
图1描绘了一个简单的2D摄像机网络，它由五个摄像机组成，其外部校准数据由两个位置和一个方向参数组成。为了估计彼此之间的空间关系，相机通常依赖于其重叠视场（FOV）内的常见物体。在我们的方法中，摄像机专门将局部距离和角度测量值交换到通常检测到的物体，以便与另一个摄像机建立位置关系。
我们进一步的自校准完全依赖于低计算和通信工作，以确保嵌入式或低功耗系统和网络的可操作性。大多数现有的视觉传感器网络校准技术都集中在计算密集型计算机视觉解决方案上，缺乏对通信或计算成本的研究[9-11]。其中大多数还旨在实现基于像素的外部校准，例如，估计图像平面之间的单应性。在我们的概念中，我们专注于估计共同坐标系内的摄像机姿态，而不是建立摄像机对之间的像素对应，这对于许多视觉传感器网络应用来说都是充分和必需的。到目前为止，大多数应用程序只是假设摄像机网络需要进行外部校准并在公共坐标系上运行[3,5,12]。因此，我们的主要贡献是用于视觉传感器网络的轻量级且资源有效的自校准算法，其以完全分散的方式在网络内建立共同的坐标系。轻量级指的是低计算成本，因为我们的方法完全基于几何操作和简单的传感器测量，并且不需要执行复杂的计算机视觉任务。然而，资源效率不仅通过简单的计算实现，而且通过特定的通信方案实现，这些通信方案能够在保持高校准精度的同时实现低通信成本。
参考文献[13]中引入了基本校准算法，并在参考文献[4]中发布了基于自校准网络的协同跟踪应用程序。本文通过i)处理不准确的测量和确定定位结果的空间不确定性，ii）在网络内建立共同坐标系，iii）调查不同的通信方案和iv）实施更全面的评估研究。
本文的其余部分安排如下。首先，我们将探讨第2节中最先进的校准技术。第3节提供了一个问题公式，第4节详细描述了我们的校准算法。第5节讨论了如何处理由于噪声和传感器误差导致的不准确测量以及如何估计最终校准结果的不确定性。在第6节中，我们描述了如何在保持校准精度高的同时减少通信量。模拟环境和评估结果将在第7节中讨论，第8节将结束本文。
2.相关工作
我们讨论了视觉传感器网络校准和无线传感器网络校准领域的相关工作，特别关注资源效率。我们进一步总结了相关的特征匹配方法，因为视觉传感器网络校准方法通常依赖于重叠FOV内的物体检测和匹配。
2.1视觉传感器网络校准
近年来，主要由计算机视觉社区对视觉传感器网络的外部校准进行了很好的研究。该社区提出了各种方法，我们将其分类为手动和自主方法。手动方法依赖于任何人类交互或显式校准对象，而自主方法可以在没有人为干预的情况下进行网络校准，仅依赖于观察到的场景的隐含特征。本节介绍了两个类别的相关工作，我们主要关注自主方法，因为我们的方法属于它们。
2.1.1自主校准
表1提供了基于以下特征的自主校准方法的概述：方法的目标，校准所需的输入，用于校准的方法以及有关网络拓扑和通信成本的信息的可用性。
刘等人的方法[11]依赖于吵闹的前景作为输入和联合优化框架来自动校准摄像机网络。首先，基于对相对3D行人高度分布的分析，相机基本上和单独地校准到局部坐标系。然后，所有本地坐标系统都注册到共享的全局坐标系统。
Possegger等人[14][本质的校准静态平移 - 倾斜 - 变焦（PTZ）摄像机网络的方法。为此目的，摄像机依赖于行走人类的轨道之间的对应关系，从而计算所有头部和脚部位置。然后使用这些位置来估计摄像机的外部参数。该计算基于非线性最小二乘优化问题，该问题可能陷入局部最优。
Devarajan等人[15]引入了一种分散算法，其中每个摄像机对其邻居的摄像机参数和场景点执行局部束调整。由此使用视觉图找到邻居，该视觉图首先基于图像中的特征点建立。使用视觉图形信息，摄像机然后在其邻居群集内执行外部校准。作者还在通信成本和处理能力方面探讨了分散式解决方案相对于集中解决方案的优势。
Ly等人介绍了基于运动结构的异构摄像机网络（透视，反射折射和鱼眼摄像机）的校准方法[16]。该技术基于直线图像。外部参数最初通过线性方法使用线图像计算，然后通过束调整进行细化。
王等人 [18]提出了一种方法，将不同摄像机视图中移动物体的轨迹分组为某些活动聚类，并对摄像机视图中的物体路径进行建模。摄像机网络既不需要校准，也不需要重叠的FOV。摄像机视图的场景被简单地量化为小单元，这允许在摄像机观察到相同轨迹的情况下将摄像机彼此关联。然而，目前尚未实现所有相机的共同坐标系和姿态估计的建立。
另一类校准方法利用相机对之间的极线几何[10,17,20]。例如，Houml;dlmoser和Kampel[10]提出了一种3D重建方法，通过观察步行行人来恢复内在和外在的摄像机参数。因此，行人的头部和脚部点用于估计基本矩阵。Sinha等人[17]介绍了另一种计算极线几何的方法。该解决方案中的计算基于步行人的轮廓。
Guan等人。 [19]最近提出了一种外部网络校准方法。通常，他们的校准通过分析行人的轨迹来工作。在摄像机图像中检测行人的头部和脚部的3D位置。这些位置由相机计算它们的本地坐标系。然后，基于随机抽样一致性算法的正交方法用于计算相机对的相对位置和方向。最终通过最小化重新投影误差来改善估计的姿势。
作者[19]声称，与最先进的校准方法相比，他们的方法可以实现更简单的计算和更灵活，更准确的校准。此外，他们能够处理行人沿着直线行走的情况，这将导致极线几何计算失败。他们的方法的先决条件是所有相机彼此重叠，重叠区域是重要的并且行人的高度是已知的以便提供比例信息。作者提到，理论上该方法仅需要成对重叠，因为校准是以成对方式进行的。但是，到目前为止，他们还没有实现这种网络结构。
Guan等人的方法。 [19]与我们的非常相似，也是为了提高资源效率。与我们提出的方法的不同之处在于，我们不利用摄像机局部坐标系中物体的3D位置，而只是测量物体的距离和角度，这使算法的计算密集度更低。我们还要求摄像机与至少一个其他摄像机重叠，但不要与网络的所有摄像机重叠。我们的主要重点是设计一个完全分散的自校准算法，以确保计算效率和低通信成本。
2.1.2手动校准
手动方法通常依赖于显式校准对象。它们的例子是光源[21,22]，棋盘[9]，1D校准目标[23]或球体[24-26]。需要在跟踪空间内移动或挥动这样的校准对象以进行网络校准。摄像机因此检测对象并与其他人交换信息，以便定义他们可以观察对象的位置和视点。手动方法通常比自主方法更容易和更准确，因为校准对象具有特定的形状和颜色，以实现简单的检测和特征匹配。
还存在其他需要手动交互的校准方法，如Ortega等人的两步法 [27]。在第一步中，用户基于鸟瞰图提供相机的粗略位置，第二步通过2D图像匹配来细化位置。
Lv等人的方法[28]也需要人与人之间的互动。摄像机根据行走的人的运动计算垂直消失点和水平线。然后，该信息用于计算内在和外在相机参数。但是，必须先指定两条彼此正交的辅助线才能启用校准过程。
Kurillo等人介绍了利用由两个LED标记形成的虚拟对象来建立凸轮对之间的极线几何的算法 [20]。
2.2无线传感器网络校准
由于我们的目标是实现包括姿势信息但没有像素对应的轻量级校准，我们还研究了传统无线传感器网络（WSN）的方法。毛等人[29]将WSN校准分为三大类，即到达角（AOA）测量[30]，距离相关测量[31]和接收信号强度（RSS）剖析[32]。 AOA测量利用天线的波束形成模式来确定节点之间的角度。距离相关测量依赖于基于传播时间的测量来确定节点之间的距离，并且RSS剖析方法构建覆盖区域中的信号强度行为的映射。
我们的方法类似于传统无线传感器网络中基于距离和角度的校准，因为我们还依赖于距离/角度估计。但是，WSN和VSN的校准技术之间存在一些主要差异。首先，典型的WSN传感器是全向的，需要校准算法来单独估计节点的位置[33,34]。另一方面，VSN节点是具有特定视野的定向传感器。因此，校准算法必须估计位置和视角。此外，WSN校准方法通常在节点对之间或节点与基站/锚节点之间执行信号测量，例如RSSI或AOA [35,36]。基站或锚节点是具有已知位置的节点，传感器节点使用这些节点基于多延迟来定位自己[37,38]。与此相比，
我们不依赖于传感器节点之间的信号测量，而是依赖于传感器和检测到的对象之间基于视觉的测量，以便利用更强大的信息并确保独立于网络技术的可操作性。然而，基于无线传感器网络中多延迟的思想，我们开发了几何方法，使VSN节点能够相对于自身定位邻居。
2.3功能匹配
许多校准算法依赖于在观察环境内联合检测的对象或事件以及它们在不同FOV中的重新识别。
对象重新识别的一个关键问题是能够测量两个图像区域之间的相似性，这是确定这些区域是否代表相同内容所需要的[39]。这是一项极具挑战性的任务，因为尽管观察点，照明和姿势变化，仍必须完成关联。因此，有很多研究正在进行，特别是在判别性，描述性和鲁棒性视觉描述符的设计上[40]。根据Ma等人的描述，典型的描述符包括。 [41]，物体特征，如颜色[42]，纹理[43,44]，形状[45]，兴趣点[46]或图像区域[47]。除了这些基本表示之外，还有一些更专业的表达，例如生物启发特征和协方差描述符[41]。
重新识别的问题，也称为一致标签，在计算机视觉社区中引起了很多研究兴趣，该社区在过去十年中提出了各种算法[12,48-50]。
3.问题的表述
为了简单和易于理解，我们在2D空间内制定问题，但它可以很容易地推广到3D中。我们考虑一组nisin;N相机
C = { c 1 , . . . , c n }
其中每个摄像机具有最初未知的特定位置和方向。摄像机上没有可用的全局拓扑信息。因此，它们在它们的局部坐标系上运行，在这些系统中，它们将自己的位置定义为（x i = 0，y i = 0），它们的方向为phi;i= 0°。
我们假设所有相机isin;C在时间上同步并且能够执行诸如对象检测，特征提取和特征匹配的图像处理过程。此外，我们定义了一组misin;N个对象
O = { o 1 , . . . , o m }
它可能会在摄像机网络观察到的环境中移动。以下功能指示相机是否可由相机看到
对象表示为具有特定位置（，）的2D点。如果cover（，）= 1，则摄像机能够估计局部距离并且将跟踪到对象。由于摄像机将自己的方向定义为，因此如果在FOV的右侧部分检测到物体，则水平角度为正，否则为负。
如果两个相机的FOV重叠，则相机涉及另一相机。考虑到和作为相应摄像机所覆盖的区域，我们可以通过以下指示功能来表达关系
节点邻域由彼此重叠的相机定义。因此，邻居可以共同观察某些领域。为了识别邻居，摄像机依赖于联合检测到的对象。使用Eq。（2）,摄像机的邻域定义为
N = {isin;C| ov erlap（，）=1and;i？ = h}。
设是摄像机的位置（，），P是网络内所有摄像机C的位置集合。其中一个摄像机的坐标系
所有相机方向的集合。然后定义其中一个摄像机的坐标系
我们的总体目标是估算网络中所有摄像机的位置和方向。这个目标是由国家定义的
资料编号：[3232]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
