英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
Madrid, Spain, October 1-5, 2018
单目视觉惯性系统的在线时间标定
摘要—— 精确状态估计是机器人导航、自主驾驶、虚拟现实和增强现实等多种智能应用的基础模块。视觉与惯性融合是近年来发展起来的一种六自由度状态估计技术，不同传感器测量数据记录的瞬时时间对系统的鲁棒性和准确性至关重要。在实践中，每个传感器的时间戳通常会受到触发和传输延迟的影响，导致不同传感器之间的时间失调(时间偏移)。这种时间偏移极大地影响了传感器融合的性能。为此，本文提出了一种在线校准视觉和惯性测量之间的时间偏移量的方法。此方法通过对SLAM系统中时间偏移量、相机状态、IMU状态以及特征位置的联合优化，实现了时间偏移量的标定。此外，此方法是一个通用模型，可方便地应用于多个基于特征的优化框架工作中。仿真和实验结果表明，与其他先进的离线工具相比，我们的校准方法具有较高的精度。VIO与其他方法的比较表明，在线时间标定对视觉惯性系统有明显的好处。时间校准的源代码集成到我们的开源项目VINS_MONO中。
Online Temporal Calibration for Monocular Visual-Inertial Systems
Tong Qin and Shaojie Shen
Abstract— Accurate state estimation is a fundamental module for various intelligent applications, such as robot navigation, autonomous driving, virtual and augmented reality. Visual and inertial fusion is a popular technology for 6-DOF state estimation in recent years. Time instants at which different sensorsrsquo; measurements are recorded are of crucial importance to the systemrsquo;s robustness and accuracy. In practice, timestamps of each sensor typically suffer from triggering and transmission delays, leading to temporal misalignment (time offsets) among different sensors. Such temporal offset dramatically influences the performance of sensor fusion. To this end, we propose an online approach for calibrating temporal offset between visual and inertial measurements. Our approach achieves temporal offset calibration by jointly optimizing time offset, camera and IMU states, as well as feature locations in a SLAM system. Furthermore, the approach is a general model, which can be easily employed in several feature-based optimization frameworks. Simulation and experimental results demonstrate the high accuracy of our calibration approach even compared with other state-of-art offline tools. The VIO comparison against other methods proves that the online temporal calibration significantly benefits visual-inertial systems. The source code of temporal calibration is integrated into our public project, VINS-Mono.
I.简介
在过去的几十年里，状态估计一直是机器人和计算机视觉领域的一个基础研究课题，机器人导航、自主驾驶、虚拟现实(VR)和增强现实(AR)等各种应用都高度依赖于精确的状态估计。我们特别感兴趣的状态估计解决方案只涉及一个相机和简单的机械配置，因为它的体积小，功耗低。在单目纯视觉技术中，[1]-[7]已经取得了很好的结果，它计算出了精确的摄像机运动和符合尺度的环境结构。为了解决已知的尺度模糊问题，多传感器融合方法受到越来越多的关注。[8]-[17]利用惯性测量单元(IMU)对相机进行了大量的研究，在6自由度SLAM(同步定位和建图)中取得了令人瞩目的性能：一方面，惯性测量使俯仰和滚转角以及比例可被观察到；另一方面，惯性测量通过消除视觉跟踪失败时的间隙来改善运动跟踪性能。
为了融合来自不同传感器的数据，就必须精确地知道记录测量值的时间瞬间。实际上，每个传感器的时间戳通常会受到触发和传输延迟的影响，导致不同传感器流之间的时间失调(时间偏移)。因此，传感器的时间同步问题可能成为多传感器系统的关键问题。对于视觉惯性系统，相机与IMU之间的时间偏移量对系统的鲁棒性和精度有很大的影响。大多数视觉惯性方法[13,14,16,17]假定测量的时间戳在单个时钟下是精确的。因此，这些方法可以与一些严格的硬件同步传感器很好地工作。但是对于大多数低成本和自组装的传感器集，硬件同步是不可用的。由于触发延迟和传输延迟，相机与IMU之间总是存在瞬态偏移(时间偏移)。时间偏移量通常从几毫秒到数百毫秒不等，而几十毫秒将导致IMU序列与图像流在时间上完全不对齐，从而极大地影响视觉惯性系统的性能。
为此，本文提出了一种在线标定视惯性系统时间偏移量的方法。我们假设时间偏移量是一个常数但未知的变量，并通过在线估计相机和IMU状态，以及SLAM系统中的特征位置来校准它。本文提出的的标定方法是一个通用的模型，可以很容易地应用于其他基于特征的视觉惯性优化框架。虽然在本文中使用单目传感器套件来展示此方法，但该方法可以很容易地应用于多摄像机视觉惯性系统。本文的工作成果如下：
(1)本文提出了一种在线标定视觉惯性系统中摄像机与IMU之间时间偏移量的方法。
(2)通过模拟和真实世界的实验，展示了在线时间计算的重要性。
(3)将开源代码集成到公共项目中。
本文其余部分的结构安排如下：第二节讨论了相关文献；第三节详细介绍了相关的算法；第四节给出了本文提出方法的实现细节和实验效果和评价；最后，第五节对本文进行总结。
II.研究现状
在过去的几十年里，视觉惯性测程技术已经有了大量的研究，其目的是高精度地计算相机的运动和环境结构。目前流行的技术有基于过滤的框架[9]-[12,17]或批处理优化[13]-[16,18]。大多数视觉惯性算法都是通过提取鲁棒稀疏特征来处理图像，而不是对稠密图像进行处理。其中[9,10,18]采用无结构视觉因子，通过将视觉残差投影到零空间来消除特征。他们更注重估计相机或IMU的运动，而不是特征位置。[13, 14, 16]选择性地将关键帧和特征保存在一个包中，从而优化了相机的运动和特征。所有这些方法都假定IMU和摄像机是精确同步的，没有时间错位。
在低成本和自组装设备中，IMU和相机之间的时间错位是一个典型的问题。由于时钟不同步、触发延迟和传输延迟，测量的时间戳与实际采样时间瞬间不一致。这个时间偏移是未知的，需要校准。有几项研究集中在校准它：Mair[19]提出了一种时间和空间校准的初始化方法，该方法使用了互相关或相位一致性以一种新颖独特的视角制定标定程序，它将校准的变量与其他未知变量(姿态、特征位置)分离开来。因此，它可以在不受其他变量影响的情况下提供良好的先验。进而以一个更精确的公式建模时间偏移。Kelly通过[20]中对准相机与IMU的旋转曲线来校准时间偏移，它利用ICP(迭代最接近点)方法的一种变体来逐步匹配两条旋转曲线。Furgale利用[21]中的Kalibr算法，对连续批优化过程中相机与IMU之间的时间偏移量、相机运动以及外部参数进行了估计。Kalibr取得了令人印象深刻的性能，并成为一个受欢迎的工具箱。但是这两种方法都是离线操作，使用固定的平面模式(例如棋盘)，该标定模式具有较强的特征跟踪和关联能力，并具有较高的三维定位精度。此外，李还针对[22]中摄像机- imu系统提出了一种具有在线时间标定的运动估计方法并在多状态约束EKF框架下对时间偏移量进行了标定。该方法在计算复杂度上具有明显的优势，可用于便携式移动设备。与他的方法相比，本文的基于优化的算法在精度上要优于他的方法，因为本文所提出的方法可以在一个大的包中迭代优化大量的变量，而不是提前修复线性误差。
III.算法
本小节的主要内容是在一个视觉因子中建模时间偏移量，并在一个基于优化的VIO框架中在线计算时间偏移及其特性、IMU和相机状态。
本文将所涉及到的框架和对应符号简单地表示如下：表示全局框架。表示本地摄像机帧。（,）是全局帧中的相机姿势，是可以从相机帧变换到全局帧的三维特征。
A.时间偏移量
对于低成本和自组装的视觉惯性传感器，相机和IMU没有严格的时间同步。由于触发延迟、传输延迟和时钟不同步，生成的时间戳不等于测量采样的时间瞬间。因此，不同的测量值之间通常存在时间偏移。一般情况下，传感器之间的时间偏移量是一个未知的常数。在一些更糟糕的情况下，传感器是用不同的时钟收集的，时间偏移量随时间漂移。这种传感器不适用于传感器融合。在本文中，我们考虑一般情况，即时间偏移td是一个未知的常数。
Fig. 1. An illustration of temporal misalignment (time offset) between camera and IMU streams.
图1. 摄像头和IMU测量时间失调（时间偏差）的说明。
图1描述了摄像头和IMU数据采集瞬间存在的时间偏移。在图中，上面的图表示采样瞬间，下面的图显示了时间戳的瞬间。由于触发时延、传输时延、时钟不同步等原因，导致实际的时间戳不等于实际采样时间，造成相机与IMU的时间错位。具体地，我们定义td为，
时间偏移量td是我们需要移动相机时间戳的时间量，以便相机和IMU的数据流在时间上保持一致。td可以是正的，也可以是负的。如果摄像机序列的延迟比IMU序列长，则td为负值；否则td为正值。
B.图像平面上的特征速度
为了使相机和IMU数据流在时间上保持一致，相机序列应该根据td前后移动。我们不移动整个相机或IMU序列，而是在时间轴上移动特性的观察值。为此，本文引入了特征速度来建模和补偿时间偏差。
在几毫秒这样很短的时间内，相机的运动可以看作是匀速运动。因此可以视为特征在很短的时间内以近似恒定的速度在像面上运动。在这个基础上，我们可以计算出该特征在图像平面上的速度。
Fig. 2. An illustration of featurersquo;s velocity on image plane.
图2. 图像平面上特征速度的图示
特征点在图像平面的运动如图2所示，和是两个连续的图像帧，假设摄像机在短时间[,]内以恒定速度从移动到。因此，本文近似地认为特征l也在短时间内以恒定速度在图像平面上移动. 速度计算如下：
其中，[，]和[，]分别是特征在图像平面和上的二维观测值。
C.视觉因素与时间偏移
在经典的稀疏视觉SLAM算法中，视觉需求被表示为代价函数中的投影误差，本文通过添加一个新的变量即时间偏移量来修正经典的投影误差。时间偏移特性有两种典型的参数化方法：一些算法将特征参数化为其在全局帧中的三维位置，而另一些算法则将特征参数化为相对于特定图像帧的深度或反深度。下面本小节分别用这两种参数化方法将时间偏移量建模为视觉因子。
-
三维位置参数化:时间偏移特征在全局帧中被参数化为三维位置（
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[238480]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
