英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料
一种基于小波变换的红外与可见光图像增强融合方法
摘要：在一些有关红外和可见光图像融合的研究中，红外图像通常会提供更多的有用信息。但是，IR传感器对场景的温度是敏感的，因此，IR图像通常清晰度低并且包含许多噪声，这影响了图像融合的质量。在基于小波变换的分解图像中，图像的对比度与灰度的相对变化成比例。并且，随着尺度的增长，我们至少可以认为，脉冲噪声和高斯噪声的均值与方差都线性减小。因此，本文提出了一种基于小波变换的图像融合新方法。首先，利用小波变换对红外图像和可见光图像进行分解，得到多尺度子图像。然后，通过比例空间中修改子图像的模数并在较为粗糙的的分辨率级别上延展平滑子图像的动态范围，达到提高IR图像对比度的效果。最后，将改进的红外图像和可见图像以不同的比例融合，重建为融合图像。实验基于离散小波变换(DWT)和双树复数小波变换(DTCWT)进行。结果表明，与原始方法相比，改进方法是有效的。
关键词：图像融合，红外图像，小波变换，对比增强，多尺度子图像
- 介绍
归功于各种各样图像传感器的迅速发展，各个领域的各种传感器可以捕获更多信息。但是，在许多情况下，没有传感器可以提供一种完整的描述。图像融合是一种基于图像的信息融合，我们通过图像融合可以从图像[1],[2]中获得更多细节。
图像融合是一种将不同传感器比获得图像融合为一张图像的方法。在融合图像的中，它包含了来自多张图像的互补与冗余的信息，这些信息可以全面描绘一个场景的目标和背景。与原始输入图像相比，生成的图像可以获得更可靠，准确和完整的信息与细节。红外(IR)和可见图像图像融合是一种在不同时间或相同时间将CCD探测器和IR探测器捕获的图像融合在特殊场景中的技术。它会显示对此场景的确切而完整的解释。其目的是减少红外和可见光图像融合场景的不确定性。
由于红外探测器的固有特性，红外图像具有在[3]中指出的缺点。例如，目标与背景之间的对比度较低，物品边缘不清晰，红外图像中噪声太大等等。这些均导致目标难以与环境区分开来。由于重要信息始终包含在红外图像中以进行决策，因此，本文演示了一种图像融合方法，该方法可以通过小波变换提高梯度和对比度并减少红外图像的噪声，这样就可以提高最终获得的融合图像的质量。
本文的结构如下：在第二部分中，我们简要介绍了离散小波变换(DWT)和双树复数小波变换(DTCWT)。第三节提出了一种新颖的图像融合方法，第四节介绍了一些用于评估融合图像质量的指标。实验结果与原始方法的比较在第五节中进行了说明。最后，在第六节中对本文进行了总结。
- DWT和DTCWT
在[4]-[7]中给出了有关DWT和DTCWT的详细描述。这里简要介绍一下DWT和DTCWT。
- DWT
DWT是一种常见的小波变换技术，它是一种提供空间频率分解功能从而可以对图像进行灵活的多分辨率分析的方法。假设有一维(1-D)低通滤波器phi;和高通滤波器psi; 。
二维(2-D)小波分析操作如下：通过使用低通滤波器phi;和高通滤波器psi; ，对图像I(x,y)的每一行进行水平滤波和下采样，从而产生系数矩阵IL(x,y) 和 IH(x,y)。然后使用低通和高通滤波器对IL(x,y) 和 IH(x,y)的每一列进行垂直滤波和下采样，从而产生在各比例下的四个子图像ILL(x,y),ILH(x,y),IHL(x,y)和IHH(x,y)。
图一 两级DWT的示例
公式(1)
公式(2)
公式(3)
公式(4)
ILL(x,y)是对应于低频带的平滑子图像，可以视其为原始图像I(x,y)的平滑子采样版本。我们可以递归地过滤它，直到达到所需的水平。ILL(x,y),ILH(x,y),IHL(x,y)和IHH(x,y)是方向子图像，代表图像I(x,y)在水平，垂直和对角线方向上的细节。
- DTCWT
DWT的最大问题是它的位移变量性质不一样，而这是是由每个级别上发生的子采样引起的。DTCWT是一种超完备的小波变换，其在DWT基础上提供了方向选择性和良好的平移不变性。并且其生成了两个完全抽取的树，一棵树在第一级生成奇数样本，另一个用于偶数样本。与DWT相比，DTCWT降低了超完备性，此外，它还可以提高方向灵敏度，并且能够区分正向和负向，从而获得六个对应于各个级别的不同子带，其方向分别为 plusmn;15度，plusmn;45度，plusmn; 75度。由于DTCWT中滤波器是从理想的重建双正交集合中选择的，它可以提供较为完美的重建。同时，更大的位移不变性和方向灵敏度也意味着与DWT相比，DTCWT具有更好的融合效果。
图2 一级DTCWT的示例
3.红外图像增强的融合方法
本文在考虑连续小波变换的情况下，研究了一维分解中噪声在不同分辨率下的传播特性。二维的分析也是类似的。例如,脉冲噪声f (x)= delta;(x),连续小波变换后其功能:
公式(5)
随着尺度S的增大，小波变换后脉冲噪声的幅值减小。高斯白噪声的均值为0,方差为sigma;^2。连续小波变换后的特征为:
公式(6)
公式(7)
公式(6)、(7)表示尺度S增大时均值和方差减小。因此，我们可以得出这样的结论:经过小波变换后，当分辨率增加时，至少可以认为脉冲噪声和高斯噪声的均值和方差线性减小。
C.增强的图像融合方法的研究进展
本文提出的增强图像融合方法如下:
- 对红外图像和可见光图像进行小波分解，得到分解后的图像ILL(x,y)， ILH(x,y)， IHL(x,y)， IHH(x,y)。
2)通过线性插值法拉伸红外图像的粗图像ILL(x,y)，并将其动态范围扩展至显示设备的动态范围。
公式(8)
enhancedILL(x,y)为扩展后的平滑图像，max为最大像素值，min为原平滑图像ILL(x,y)的最小像素值。disp是显示设备的动态范围。对于灰度图像，disp的范围是0到255。
- 对于方向上的子图象ILH (x, y), IHL (x, y),本次事件(x, y),我们可以计算出图像的模2规模:
公式(9)
- 通过乘以一个因子kj来增强它的模量和梯度。
图3.图像融合方法的研究进展
公式(10)
其中每个固定尺度的拉伸因子kj为常数，满足附加约束条件:
公式(11)
我们可以选择一系列不同的kj来增强图像在各个尺度上的特征。噪声模量在大尺度下变得极小。如果j变大，kj也变大;当j变得更小时，kj变成1。因此，在各个尺度上都提高了红外图像的质量。
5)最后将增强后的红外图像与可见光图像在各个尺度上进行融合，将融合后的系数重构到融合后的图像中。
四、评价图像融合效果的指标
在[1]中提出了许多指标来衡量图像融合的结果。我们倾向于选择信息熵、平均梯度和空间频率来评价融合图像的质量。
bull; 信息熵:图像的熵表示图像中包含的平均信息量，这对于衡量图像信息的丰富程度很重要。在灰度l下，图像熵定义如下:
公式(12)
(1)中，P(l)是图像中灰度l出现的可能性。熵越大，图像中的信息就越丰富
bull; 空间频率:反映图像的整体空间活动。它的定义如下。
图像的列频率为:
公式(13)
图像的行频率为:
公式(14)
在上面的方程中，M和N是列数和行数。并且可以定义图像的空间频率为:
公式(15)
bull; 平均梯度:表示图像质量的改善。它反映了图像的定义和细节对比度的微观差异以及图像中纹理变化的特征。它的定义如下:
公式(16)
这其中,Delta;xf (i,j) 和Delta;yf(i,j )是像素值在x或y方向的一阶变化量。一般来说，平均梯度越高，图像质量越好。
五、实验及结果
上述融合方法将通过一组红外和可见光图像来说明。红外图像描述了感官的重要特征，可见光图像描述了背景的细节。在融合之前，这些图像是严格注册的。所有图像均基于小波变换分解为4个层次，拉伸因子kj为[1,3,3,3]。高通系数采用最优选择组合，低通系数采用简单平均组合。利用上述方法对红外图像和可见光图像进行融合，并与原始DWT和DTCWT方法进行对比。
图4.(a)原始红外图像。(b)原始可见图像。(c)基于DWT的融合图像。(d)基于DTCWT的融合图像。(e)基于DWT的融合图像与图像增强(f)基于DTCWT的融合图像与图像增强
合成的融合图像如图2所示。图像(a)为原始红外图像，图像(b)为原始可见光图像。融合图像(c)和(d)是基于DWT的。融合图像(e)和(f)是基于DTCWT的。当图像(d)和(f)与红外图像增强融合时，图像(c)和(e)不进行红外图像增强。我们可以看到(e) (f)图像中的红外目标比(c) (d)图像中的目标清晰得多，同时可见图像中的细节保持良好。但是，图像(e)和(f)看起来比图像(c)和(d)要暗。
表1给出了评价融合图像质量的指标值。融合图像(e)、(f)的熵、平均梯度和空间频率均高于融合图像(c)、(d)，且改善明显。
表一不同方法的比较
4.总结
本文提出了一种基于小波变换的图像融合方法。利用小波变换和离散小波变换的增强方法，提高了红外图像的对比度和梯度。与常规的DWT方法和DTCWT方法相比，增强后的融合图像质量得到了提高。
基于边缘信息增强的强度和偏振差图像多尺度融合算法
为了更好的整合来自不同源图像的互补和冗余信息，改善边缘信息，便于目标检测。提出了一种基于边缘信息增强的多尺度强度和极化差(PD)图像融合算法。首先，利用偏振信息分析方法获得强度图像。采用基于最小互信息原理的自适应极差成像方法获得局部放电图像。其次，在可见性增强中嵌入了引导滤波、仿射变换、块匹配和三维滤波等方法，提高了图像的强度和局部放电。然后，利用双树复小波变换(DT-CWT)将两幅图像分解为高频和低频图像。分别采用基于边缘检测的融合规则和基于区域方差匹配度的融合规则对高频和低频图像进行融合。最后，通过反变换得到融合图像。实验结果表明，该算法在信息熵、平均梯度、空间频率等方面都有明显的改进。与现有的边缘增强方法相比，该方法能较好地实现浑浊介质中图像的边缘增强。
关键词图像融合·极化-差分图像·引导滤波·边缘检测
图像融合在军事和民用领域得到了广泛而有效的应用(Ba等2018;Basaeed等，2013;Zhang 等。2017年;Ganasala和Prasad ，2018年;Lian等，2019;Wei等，2018;Wu等，2017;Ghaneizad等，2017)。目前，许多学者对强度和偏振图像的融合进行了研究，发展了多种图像融合方法。强度图像虽然包含丰富的场景信息，但容易受到外部环境的影响，如光照条件、天气条件、空气质量(如雾霾天气)和地理位置等。
极化图像是强度图像的有益补充，因为它能够反映材料的类型、表面粗糙度和检测角度，并突出物体和背景之间的差异(Solomon 1981)。因此，强度和极化图像的融合是提高目标图像对比度、清晰度和信息量的有效方法。
在最近的研究中，已经研究了多种强度和偏振图像的融合算法。Shiwei(2018)研究了一种基于BEMD和自适应PCNN的偏振图像融合新算法。该融合算法结合了BEMD变换的多分辨率、多尺度特性和PCNN的全局耦合和脉冲同步激励的优点。成功解决了传统偏振图像融合视觉效果差、细节信息不足的问题。Du等。(2007)提出了一种基于极化特征和能量的图像融合算法。他们考虑了线性偏振度(DOLP)、偏振角(AOP)和斯托克斯参数之间的互补性和冗余性。Zhang等。(2018a)提出了一种红外偏振与强度图像融合算法。它基于不同特征的可转移性来突出融合图像的边缘和细节信息。为了解决海洋背景下的弱小目标检测问题，Zhang等，(2018b)研究了基于海面与舰船目标极化差的融合算法。风扇等。(2018)提出了一种偏振与彩色图像融合的方法，并将其应用于车辆检测。结果表明，该方法对车辆检测的误检率和鲁棒性都有明显的提高。
上述融合算法大多利用从强度图像、DOLP和AOP中获得的信息，在多种类型的图像之间获得有用的信息补充。然而，在复杂的背景下，偏振参数的图像分布是离散的，传统的DOLP和AOP图像无法提供给定场景的全面信息。在这种情况下，Laili(2014)提出了一种强度与PD图像融合的方法(Rowe等)。1995;Mo等，1996;2017年;Han等，2011;Guan等，2017)基于小波变换增加强度图像的信息量。Zhang等(2018c)研究了一种基于非亚采样shearlet变换(NSST)的偏振差成像红外强度和偏振特征图像的融合算法。结果表明，偏振特征融合图像的各项指标都有了明显的改善，证明了正交差法提取偏振特征的有效性。为了解决水下成像质量差的问题，Han和Zhang(2017)创造性地提出了一种基于图像融合的计算极化差成像方法。与原始的偏振差分成像相比，该算法对平面目标产生了更多的细节和更高的对比度。但由于目标仅局限于平面目标，其他目标的检测效率未知。
从以上研究结果可以看出，极化差分成像在一定程度上可以消除环境散射的影响。目前，用于强度与局部放电图像融合的算法还很少。为了提高浑浊介质中融合图像的质量，提出了一种基于边缘信
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[235604]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
