英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料
基于动态颜色直方图和快速小波直方图的关键帧提取
第一作者 宗子凯 第二作者 龚青
摘要
近年来互联网上的视频数据急剧增加。丰富的视频数据引发了对基于内容的视频检索（CBVR）的需求，CBVR使用高效的技术来索引，检索或浏览这些数据。 为此，我们将动态颜色直方图导出的颜色细节和从快速小波直方图导出的纹理细节组合起来，以选择关键帧。 然后，通过优化的k-means算法确定关键帧的数量。 最后，我们删除多余的关键帧，通过交互信息获得最终的关键帧。 有效的渐变镜头转换由动态颜色直方图的方差曲线得到。 最终采用电影视频，体育视频和讲座视频三种测试视频评估所提出的关键帧提取和逐帧镜头检测方法。
索引术语 - 动态颜色直方图,快速小波转变, 逐步镜头检测,关键帧提取,基于内容的视频检索
随着视频数据的快速增长，检索这些视频数据变得非常重要，并且已经被广泛研究。选择关键帧是索引和检索视频数据的关键步骤。视频检索的第一步是将视频分成更小的单位以便进一步索引和浏览。视频的最小单位的定义是目标在空间和时间上的连续动作的镜头。镜头转换可以分为突变和渐变转换。镜头突变转换发生在特定的帧中。镜头渐变转换则发生在多帧之间，并且是由淡出，淡入和溶解引起的。我们早期将工作重点放在镜头突变转换上。然而，因为镜头渐变转换的复杂性和仅在此种情况下出现的连续帧，我们将工作的重点转向了镜头渐变转换。颜色直方图差分算法是一种基于相邻帧的颜色直方图差异的典型的渐变镜头转换检测方法，由于该算法仅计算像素亮度和颜色信息，具有较强的抗干扰能力。为了表示整个镜头的内容，我们在每个镜头中提取关键帧，同时为了使视频检索有效，所选关键帧应综述整个视频，不能缺少任何重要信息。
迄今为止,研究人员已经提出了多种算法模型来完成视频计算工作。GUAN等研究人员基于使用SIFT描述符[2]从所有帧中提取含有关键点的关键帧，那些所选关键帧可以完全囊括全局关键点。该算法有一定缺陷，例如，如果相邻帧的关键点相似，关键帧可能是相同的。JIANG 等研究人员[3]应用各种包括帧相关性，颜色直方图和边缘直方图在内的低级特征来选择关键帧。Liu 等人[4,5]提出了一种将几何和颜色特征与场景识别相结合的新颖模型。在文献[6]中，提出了一种将内容的量化性能和时间累积的证据相结合的基于谱聚类的关键帧检测器。在Chen等人的工作中[7]，关键帧由多个特征选择，如相机视点，场景分析和自适应流媒体。然而，这种方法依赖于从有限数据集中提取的启发式规则。因此，当视频的运动模式复杂且不规则时，该算法可能无法完成初始测试。 Bogdan等人[8]提出了一种基于强度的溶解检测算法，该算法使用双阈值方法来减少错误检测。这种技术的不足之处在于处理复杂镜头转场的效率较低。在文献[9]中提出了基于稀疏字典的关键帧最小数量选择，其选择采用基于L0范数的实际稀疏约束。
一些方法采用聚类来尝试提取关键帧。 例如，Yeung和Yeo [10]提出了一种生成序列中每个代表性场景中包含的视频序列的关键帧的方法。 因此，当考虑镜头的时间局部性和视觉特性时，该方法受时间限制。 Zhuang等人 [11]提出了一种基于无监督聚类的颜色直方图提取关键帧的方法。 Doulamis等人[12]引入了多维模糊分类，基于从立体视频提取的段特征来概述视频内容。
本文中，我们首先应用动态量化间隔来代替传统的HSV颜色量化间隔来检测渐变镜头转换，为了实现有效的渐进式检测，我们关注更多的颜色细节，将源自动态量化区间的主色彩描述符和离散小波变换（DWT）导出的纹理描述符组合以选择关键帧。优化的k-means算法可用于在每个镜头中自动搜索关键帧。由于这些关键帧是从不同的特征描述符导出的，我们应用互信息来解决这些关键帧的相似性问题。互信息反映了不同帧内容的相关性，删除了备用关键帧，提高了选择的精度。最后，左边框被选为关键帧。
本文的其余部分是这样组织的：第二节简要总结了关键帧选择的相关工作。第三节描述提出的关键帧选择算法。第四节展示了所提出方法的模拟实验和分析。第五节最终得到了结论和进一步的工作。
第二部分：相关工作
为了有效地检测渐变镜头转换，Yang等人 [13]计算了视频序列中帧图像直方图的方差，并获得了相对有效的渐变镜头转换。 在关键帧的提取中，Wolf [14]计算了每帧的光流和基于光流的运动度量，并且在运动的最小值处选择了关键帧。
A．基于HSV颜色直方图的渐变镜头转换
采用HSV颜色空间[13]是因为RGB颜色空间特性和人眼感知颜色偏差很大。HSV颜色空间有两个优点：首先，图像的颜色信息与亮度分量无关; 其次，饱和度和色调成分非常接近人们感知颜色的方式。
量化方案如下所示：
(1)
(2)
(3)
其中H，S和V代表HSV色彩空间的三个通道。 量化后，将HSV色彩空间划分为9times;4times;5= 180个离散杆，然后三个通道合并成一维矢量：
L=20H 5S V, (4)
我们可以得到视频序列的帧图像直方图变化的变化曲线。 曲线在镜头逐渐变化部分显示出明显的单调性。然而，这种方法有一个主要问题，那就是高量化尺寸导致的昂贵的计算成本。
B．基于运动分析的关键帧提
Wolf等人[14]提出光流分析方法。 首先计算每个像素的光学分量的总数作为第k帧的运动量度M（）k。 然后，选择M（）k的局部最小值作为关键帧，并且第k帧M（）k的运动量显示为：
其中O（i，j）是（i，j）处第k帧中光流的x分量，y分量的相似度。 从k = 0开始，扫描M（）k〜k曲线并获得两个局部最大值M（k1）和M（k2）。 如果M（k3）= min [M k（）]，k1 lt;lt;k k2，则将第k3帧设置为关键帧。 然后，我们使用k2来重置k1并继续寻找下一个k2。
第三部分：算法描述
渐变镜头转换的一个特点是在连续帧上只有很小的变化。因此，我们必须找到更加精细的颜色和纹理细节，引入动态颜色空间算法和快速小波直方图算法来选择关键帧。在Wang等人 发表的文献中[15]提出了离散余弦变换（DCT）和离散小波变换（DWT）压缩域的分级图像检索方法，通过动态颜色空间和快速小波直方图获得较好的图像检索性能。充分利用从动态颜色直方图导出的颜色细节和从快速小波直方图导出的纹理细节来选择关键帧。
- 关键帧检测结构
在选择关键帧的过程中，我们首先通过动态颜色量化直方图将视频序列分割成若干段，然后通过两个属性特征分别选取每个镜头中的关键帧。关键帧的数量可以通过使用优化的k-means [16]算法自动选择，由此可以获得两个不同的关键帧序列。最后，我们通过互信息比较两个不同的关键帧序列，并删除冗余关键帧。具体检测结构如图1所示。它包括四个主要阶段：
图1.所提算法流程图
图1所提算法的流程图中 S1：镜头检测，使用动态颜色直方图生成一组镜头，包括突变镜头和渐变镜头；S2：获取一组关键帧，在每个镜头中，通过优化的k-means [16]通过动态颜色量化直方图获得关键帧；S3：获取另一组关键帧，关键帧通过快速小波直方图通过优化kmeans [14]获得；S4：获取最终的关键帧，使用互信息删除多余的关键帧。
- 镜头边界检测
传统颜色直方图可以理解为关于图像颜色的统计信息，但需要面对高色彩维度导致的检索效率降低和存储占用量增加两大问题。该算法采用动态颜色量化直方图[15]来提取主要颜色信息，提高检索精度。换言之，我们将较小的量化间隔应用于主色彩空间并将较大的量化间隔应用于二次色彩空间。对于视频中的每一帧，动态颜色直方图的具体步骤如下所示：
算法1.动态颜色量化直方图：
步骤1.计算图像中每种颜色的存在频率并将它们存储在列向量中，h的计算定义如下：
其中ni表示第i个彩色像素的数量，并且N是视频中的帧图像像素的总数。
步骤2.颜色分类。颜色分为主色和次色，我们应用阈值tau;c来区分它们。主色被定义为频率h大于或等于tau;c的颜色。与之相反，次要颜色小于tau;c公式。分类如下所示：
步骤3.设置主色彩区间。主色彩间隔可以定义为位于一个间隔中的大部分色彩。与之相反的，剩余颜色被设置为次色区间。当连续三种颜色的概率大于tau;c时，三种颜色中的第一种颜色被认为是主要颜色区间的起始点ms。
步骤4.量化间隔的划分。主色对相似性的表现至关重要。因此，为了提高检索精度，对主色区间应用较小的量化区间。相反的，二次色彩区间应用较大的量化间隔，以减少色彩维度并提高检索精度。 我们选择4和8分别作为主色区间和次色区间的色区间。 因此，起点ms，主色间隔和次色间隔应该是8的倍数.ms应该被处理以乘以8：
ceil函数返回大于或等于指定表达式的最小整数。 此外，设置固定的主彩色整数长度以便为所有帧图像统一颜色直方图的维度。 我们将主色彩区间的长度设置为104。这样，对于所有帧图像，量化区间为104/4 （256-104）/ 8 = 45。
步骤5.颜色直方图统计。 si和ei分别代表第i个量化间隔的开始点和第i个量化间隔的结束点的频率，颜色直方图量化间隔显示为：
当两个帧图像的内容的差异很小时，直方图的方差在每个镜头中都较小，反之亦然。 因此，我们可以分析视频的方差曲线来检测突变镜头过渡和渐变镜头过渡。具体过程由突变镜头检测和渐变镜头检测组成。如下所示：
算法2.镜头边界检测过程：
步骤1.阈值初始化。 我们将tau;设置为突变体镜头的阈值，并将tau;设置为0.02（0.02由多次实验获得）。 如果直方图差异大于tau;，则发生突变镜头过渡。
步骤2.计算h i（）的平均M和方差V. 显示的计算结果如下
步骤3.计算V的平均值。 为了更明显地反映V的变化特征，从V中取n个值来计算平均值并得到另一条曲线V#39;。
其中F是视频中所有帧的数量。
步骤4.确定渐变镜头过渡。我们计算V#39;的差值并得到d t（）的曲线。 如果正或负间隔的长度大于xi;，则已经获得逐渐过渡的时间间隔。
图2.两种算法直方图差异（a）动态色彩量化直方图（b）HSV颜色直方图
图2分别显示了一段音乐视频动态量化颜色直方图和HSV颜色直方图的差异。
从图2中我们可以得出结论：动态颜色量化可以在突变镜头检测中获得更好的性能，并且在颜色细节的细微变化上表现良好。
C．快速小波算法
对于一个尺寸为Ntimes;N的帧，我们在用m级小波分解后得到M个不同的小波直方图。 首先对帧图像进行三小波分解，计算九个高频子带系数的绝对值，得到高频子带的能量。接下来，根据需要选择一个级别k，将其他级的子频带向上采样或向下采样到与k级频带相同的大小。 我们应用非均匀量化算法来减少特征向量的维数。 子带HHn，HLn，LHn分别表示帧图像的对角线边缘，垂直边缘和水平边缘。 以垂直边缘信息为例，只有子带HL3和HL2可以表示整个垂直边缘信息。
此外，由于等级n较低时相应的子带系数被量化为零，对检索结果的影响很小。 因此，仅应用子带LH3，HL3，HH3，LH2，HL2和HH2来表示帧图像的纹理信息。快速小波直方图在一定程度上降低了计算复杂度。例如，对于尺寸为N times;N的灰度帧，当有N平方的数据时，使用小波算法完成特征向量的提取；当只有N平方/2k数据时，使用快速小波算法。
- 互信息
我们利用颜色特征和纹理特征获得很多关键帧。 但是，这些关键帧不一定是理想的，并且由于通过两种算法得出的关键帧可能存在类似。 因此，我们通过互信息来进一步选择有效的关键帧。对于灰度帧图像M，信息熵在（13）中显示，帧图像M和帧图像N的互信息在（14）中显示。
其中Pm（i）表示M帧图像的概率密度，Pm,n（i，j）是M和N两个帧的联合概率密度。概率密度PM（i）和联合概率密度可以通过归一化获得灰度直方图和联合灰度直方图。此外，帧图像M和帧图像N之间的互信息为：
此外，灰度帧图像的互信息还可以定义为：
可以通过R,G,B三个色彩通道计算出三颜色的互信息量，这些互信息量计算如下：
因此，两个彩色帧图像间的互信息量可以计算如下：
如果（M，N）I大于阈值itau;，两个帧都有效，可以作为最终关键帧; 否则，删除两帧中的一个。互信息的应用可以有效的减少重复帧并提高检索的准确性。
第四部分：实验结果
本节将展示所提出的算法性能。 由于关键帧没有统一的定义，我们将其定义为可以清楚总结片段的整体内容的帧。如第三节所讨论，主色彩的阈值ctau;被设置为0.004，并且阈值为
最终关键帧itau;被设置为0.035。 为了获得稳定的聚类结果Kmeans迭代被设置为50。
图3显示了通过提出的k-means方法得到的关键帧和帧图像运动分析。从图3中，可以看出所提出的算法可以检测最关键帧，并且关键帧的内容不重复。 kmeans方法和运动分析是两种经典的关键帧提取算法。 与提出的方法相比，就关键帧数量和精度而言其效率较低。我们可以得出所提出的算法比其他两个关键帧提取算法更有效的结论。
图3.不同算法取得关键帧比较(a)所提算法（b）Kme
全文共9647字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[14544]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
