英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料
一种改进的TLD目标跟踪算法
Tao Xu and Chaobing Huang
1.Key Laboratory of Fiber Optic Sensing Technology and
Information Processing, Ministry of Education
Wuhan University of Technology
Wuhan, Hubei, 430070, China
{xutao1992 amp; huangcb}@whut.edu.cn
Qing He, Guan Guan, Yanghong Zhang
2.Guangzhou Institute of Advanced Technology,
Chinese Academy of Sciences
Guangzhou, Guangdong, 511458, China
qing.he@giat.ac.cn
摘 要
在计算机视觉领域目标跟踪一直是一个比较热门的研究主题，而跟踪-学习-检测算法（TLD）是由Zdenek Kalal提出的一种用于在线学习并且跟踪的新算法。在算法中，目标检测模块的计算消耗量比较大，为了解决计算量消耗比较大的问题并且改进提升算法，我们提出了一个在线学习方法来自适应地更新方差的阈值分类。可以有效减少目标框图的数量，并且我们提高了算法的实时性能和跟踪的准确性。我们已经进行了试验，来比较改进后的TLD算法与原始的TLD算法的效果。实验结果表明，改进后的TLD算法具有更好的实时性能和更高的跟踪精度。
索引条款 - 目标跟踪;跟踪-学习-检测（TLD）;方差分类器; 自适应阈值。
第1章 引言
视频中的目标跟踪技术一直是计算机视觉领域的一个热点问题，在智能监控，视频会议，人机交互，交通控制，导航导航等诸多领域得到了广泛应用。目标跟踪技术对这些领域的发展具有着重要意义。然而，目标跟踪技术在实际应用中面临着例如亮度变化，目标变形，目标遮挡或消失，目标高速运动，摄像头移动，复杂背景等诸多挑战。为了解决这些问题，各国研究人员纷纷提出了大量的目标跟踪算法。 传统的目标跟踪算法无法很好地处理目标的遮挡，丢失和形态变化，而且不能保证长时间目标跟踪过程中的准确性和鲁棒性，因此，目标跟踪的当前发展趋势是增添或引入在线学习机制，许许多多的方法被提出，在这些算法中，Zdenek Kalal提出了一种新的TLD在线跟踪学习框架，该框架仅需较少的先验信息就可以进行长期的在线跟踪。并且在目标被遮挡或消失的情况下或者目标的外观变化的条件下也具有良好的跟踪性能。因此，TLD算法受到了很多关注，并且许多研究人员开始研究和分析这个算法。我们针对TLD算法检测模块的计算量较大的问题，提出了一种自适应更新方差分类器阈值的在线学习方法，改进后的TLD算法不仅提高了实时跟踪性能，而且此算法也提高了跟踪精度。
第2章 TLD算法分析
介绍TLD
TLD算法是一种由Zdenek Kalal提出的新的在线学习框架跟踪。其中，T代表
跟踪，L代表学习，D代表检测。这个算法原理是将跟踪与检测相结合的一种学习过程。它由三个主要部分组成：跟踪模块，学习模块和检测模块。TLD算法的结构如图1所示。
图1 TLD算法的结构
以上三部分的核心算法是：
（1）跟踪模块使用经典的自适应Lucas-Kanade光流算法[6]。该算法通过目标在两个连续帧之间的运动来估计目标的运动轨迹，因此目标必须出现在前后连续两个帧中，并且其运动速度应该是有限制的。由于目标在两个连续帧之间变化较小，运动位置也变化较小，因此可以直接使用基于稀疏光流的点群的相似度双向验证法来寻找目标位置，而不考虑其灰度特性和特征。
（2）检测模块主要由三部分组成：方差分类器，集成分类器[7]和近邻分类器。为了找到目标的位置，它必须独立地检测每个帧。并根据需要被检测的目标特征识别目标的位置，而不考虑帧之间的相关性。
（3）学习模块采用P-N学习算法[8]，它将正负样本实时得进行分类。它根据跟踪器和检测器的判断结果，从视频图像中获取受跟踪目标的正负样本，从而构建目标和背景的模型。当跟踪器失去目标时，探测器负责再次检测目标，并初始化跟踪器以达到继续跟踪的效果。
而学习模块扮演着连接与融合的角色。它实际上存储了一些从目标中提取样本的图像框（即正样本），以及从多个背景中提取样本的图像框（即负样本）。本算法中图像框为实时更新，即当跟踪器和检测器发现目标在当前帧中的位置相似时，更新过程便同时执行。整个TLD的过程是：跟踪器和检测器同时进行操作。当跟踪器和检测器的目标位置结果基本一致时，TLD便执行学习过程，并且在线学习模型进行不断更新。当跟踪器与探测器不一致时，目标位置被探测器重新定位，并且跟踪器被初始化，以便跟踪器可以从新位置进行跟踪。
TLD算法可以通过各个部分的相互协作实现对目标长时间的跟踪。即使跟踪目标在一段消失时间后重新出现在视频中，并且目标出现变化致使导致跟踪失败，TLD算法仍然可以通过检测器检测目标位置并重新初始化跟踪器以达到继续跟踪的效果。
TLD算法中存在的问题
TLD算法的检测器主要是逐步过滤目标框图。它们由方差分类器，集成分类器和近邻分类器三部分所组成。其工作原理如图2所示。
图2 TLD检测器的工作原理
目标可能出现在视频的各个帧中的任何框都可以称为候选框。 在用检测器判断候选框时，需要不断使用方差分类器，集成分类器和最近邻分类器进行判断。只有当候选框的标准完全符合三部分的判断时，才可以成为接受框，否则候选框将进入拒绝框。
在这三部分中，首先对目标框进行滤波的方差分类器尤为重要，因为方差分类器的滤波结果将直接影响后续各个分类器的执行效率。
方差分类器需要计算图像框灰度值的方差。对于图像框p，方差的计算表达式如下所示：
（1）
其中是图像框灰度值的方差，是图像框灰度值的均值，是图像框平方值灰度值的均值。
而在原始的TLD算法中，方差分类器的滤波阈值计算公式如下：
（2）
其中var是候选框的方差，是初始目标框的方差。
从（2）中我们可以知道，过滤阈值通常被设置为常数，该值为初始目标方差的一半。满足过滤条件的目标框可以通过方差分类器的检查。
这种方法的优点是它可以快速过滤待检测的框图，并且消除大量的非目标区域。 但是随着视频帧数的增加和目标方差的变化，处理过程中不可避免地会出现各种计算错误。如果出现计算错误，一方面，正确的方框会被方差分类器过滤掉; 另一方面，计算错误会导致后续分类器大量消耗计算量，从而追踪其他不正确的目标。使得在计算过程中不断影响算法的速度和性能，并且不能实现长时间的跟踪。
第3章 改进的TLD算法
通过以上对于TLD算法的分析，我们可以知道TLD算法在进行方差分类器阈值的阈值选择时存在许多问题。由于原始的TLD算法采用着固定的滤波阈值，因此可能会导致计算错误和计算量大等诸多问题。而为了解决这些问题，最好的方法是直接使用最后一帧的目标方差作为方差分类器的阈值。但是，这种方法存在有很大的缺陷。因为如果在最后一帧的目标跟踪出现错误，便会导致所有正确的目标被过滤掉，然后会导致之后的目标跟踪失败。因此，我们会采取一种平衡措施来确保改进的TLD算法正确地使用最后一帧信息，同时平衡原始的目标信息。因此我们可以将它们组合在一起来更新阈值，并尽量避免在最后一帧跟踪错误之后无法恢复的问题。
TLD算法拥有一个正样本库，它在学习模块中可以不断进行更新，但不会通过学习过程去更新方差阈值。因此，为了提高算法的实时性，我们使用正样本库中的信息来验证我们的想法。我们通过计算正样本库中的样本方差来更新方差分类器的阈值。正样本库的更新过程如下：
对于已找到位置的目标，我们可以选择这个目标框和其他九个离目标位置最近的框来构成初始样本。然后，我们通过拉伸，平移，旋转和向十个初始样本添加高斯噪声来构造出一百个正样本。我们将这些样品随机放入正样品库中。同时，一些原始的正样本被随机地丢弃。通过这种方式不断获得目标的新特征，从而实现目标特征的实时更新。
随着视频帧的增加，目标的特征发生变化，光照和背景会相应产生改变。实时更新正样本库中存储的样本，可以获得连续的目标的新特征，这些特征可以反映出这些变化。因此，我们使用正样本库中的样本来动态地更新方差的阈值，这可以得到更接近真实的目标方差并过滤出大量的无用的矩形框。 这样可以节省后续分类器的计算时间，提高TLD算法的实时性。
方差分类器阈值地更新方法的表述式如下：
（3）
var是方差分类器的阈值，是正样本库的最新更新的样本方差，是正样本库中第i个样本的方差。 新增加到正样本库中的各个样本可以更好地反映当前帧中目标位置的变化，因此应该占据很大的比例。但是同时，阈值还应包括原始目标的一些信息。因此，最终的权重分布如（3）所示。权重系数的取值为0.6和0.4，经历大量实验我们证明了这样选择结果最优。
第4章 实验结果
在实验中，为了便于本文的描述和比较，我们将原始TLD算法表示为TLD，并将改进的TLD算法表示为Ours。软件测试环境为Microsoft Visual Studio 2013和OpenCV2.4.9，硬件测试环境为Intel（R）Core（TM）i3-2120 CPU@3.30GHZ 和4G内存。
A.测试数据描述
我们在各种复杂场景下对改进TLD算法的性能进行了测试和比较。 这些场景包括了光照变化，摄像机移动，目标遮挡或消失，高速移动目标，目标的近远变化，目标变形，目标相似等变化。测试数据主要包括开放测试视频。
- david; 2.pedestrian1; 3,pedestrian2; 4,car; 5,motocross; 6,volkswagen; 7,panda测试视频的详细描述如表1所示。测试视频的描述和屏幕截图如表2所示。
B.测试结果和分析
改进后的TLD算法可以利用方差分类器的自适应阈值更新方法，有效提高算法的实时性和跟踪精度。我们将原始的TLD算法和改进的TLD算法（Ours）通过这些测试视频进行了测试和比较。跟踪精度比较如表3所示。而表4显示了实时性能比较。
从表3的结果可以看出，本文改进后的TLD算法与原始TLD算法相比具有更好的跟踪精度，尤其是对于长时间跟踪视频序列，效果相当显著。这是因为随着视频帧数的增加，正样本库中的样本方差阈值越来越接近真实的目标方差。通过使用加权阈值，可以滤除大多数不符合第一层滤波器条件的矩形框，从而大大降低后续过程中失误检测概率，显著地提高跟踪精度。
同样，从表4的结果可以看出，本文改进的TLD算法比原始的TLD算法的实时跟踪性能上要好很多。 这是因为我们使用了方差分类器中的阈值更新，可以有效减少目标框中的数量，从而提高算法的实时性。 特别是对于标题为David视频序列，改进的效果是最明显的。虽然初始目标的方差比较小，但随着视频帧的增加，其变化有很大的变化。分析如下。
通过方差分类器的矩形框的数量如图3所示。
图3 通过方差分类器的矩形框的数量
从图3可以看出，当设置了固定的方差门限并对候选框进行筛选时，目标框的过滤性能并不是很好。这是因为随着视频帧数的增加，光线亮度发生了些许变化，目标方差也相应地发生了很大的变化。但由于原TLD方法的固定门限策略，方差分类器的滤波性能并不明显。因此，这也增加了很多后续分类器的计算量，使得检测器会消耗更多时间，并降低了原始TLD的实时性。而使用了改进的TLD算法，在添加了自适应阈值之后，更新时，矩形框的数量可以看出大大减少，从而后续分类器的计算量消耗减少，因此我们算法的实时性能有着明显改善。
方差和阈值之间的关系如图4所示。
图4方差和阈值之间的关系
图4是方差和阈值之间的关系。数据1是TLD算法的方差变化。数据2是加权阈值的变化。数据3是正样本库中样本方差平均值的变化。
从图4可以看出，加权阈值的更新的方法在目标框预留情况下可以滤除大量的无用矩形框，从而提高改进后的TLD算法的实时性能，因为改进后的TLD算法的阈值随着目标方差的变化而实时更新。在实验的过程中，我们也尝试将正样本库中样本方差的均值作为方差分类器的阈值。如图4所示，与加权阈值更新方法相比，效果并不是很好。这是因为随着视频帧数的增加，取平均值的方法往往不能很好地突出最新目标的特征，但是我们利用改进的TLD算法去设置权值的方法可以很好地解决这个问题，所以最后我们决定采用加权阈值更新的方法。
以上分析表明，改进后的TLD算法在长视频中的改进效果可以看出非常明显，并且与初始目标（例如David）相比而言，序列的方差具有较大变化，不仅在实时性方面，而且在跟踪精度上也是如此。并且它对其他视频序列也有改进的效果。
第5章 结论
在传统的TLD算法中，问题是在于检测模块中常常使用方差分类器的固定阈值，因此造成此算法各个部分计算量较大，我们针对于此于本文提出了一种在线学习的方法来自适应
全文共7371字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[13577]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
