基于深度学习的图像质量评价及其FPGA实现
Image feature learning
关键词:图像质量评价深度学习FPGACNN图像特征学习
为了改进图像质量评价（IQA）方法，必须提取高度代表人类视觉感知的图像特征。
在本文中，我们提出了一种新的IQA算法利用优化的卷积神经网络结构，旨在自动提取鉴别图像质量特征。
IQA算法采用局部亮度系数归一化、Dropout等先进技术，进一步提高了网络的学习能力。
同时，基于现场可编程门阵列（FPGA）实现了本文提出的IQA算法，并在两个公共数据库上进行了测试。
大量的实验结果表明，该方法在精度和速度上都优于许多现有的IQA算法。
在过去的几十年里，人们对高效、可靠的图像质量评价（IQA）的需求日益增长。
图像质量对人类视觉信息的获取有很大的影响。同时，如图1所示，在现实世界的图像中经常会出现各种视觉失真。因此，IQA成为一个越来越受关注的研究领域，每年都有大量新的IQA算法被提出。根据原始参考图像提供的视觉线索，一般可将IQA分为三类:完全参考IQA（FR-IQA）、简化参考IQA（RR-IQA）和无参考IQO（NR-IQO）。FR-IQA意味着原始（无失真）图像和失真图像都是可用的。
NR-IQA表示只提供失真的图像。而RR-IQA是指只有来自原始图像的部分视觉线索或从参考图像中提取的某些特征是可用的。通常，参考图像在实际应用中可能不可用。因此，NR-IQA将是唯一的解决方案。同时，由于图像内容的不断变化以及参考图像的缺乏，NR-IQA被认为是一个极具挑战性的研究课题。尽管人们已经做了很多努力来开发一种有效的NR-IQA算法用于实际应用。大多数IQA算法依赖于人工构建的质量感知特征，其中深度神经网络通常用于构建提取的图像质量特征与客观IQA得分之间的投影关系[2]。
现在，在图像处理和模式识别领域，追求高的IQA速度已经成为一个重要的研究方向。由于普通个人计算机（PC）上的中央处理器（CPU）无法摆脱传统的串行指令执行模式，图像处理的效率一直是技术上难以突破的瓶颈。相比之下，现场可编程门阵列(FPGA）基于并行处理结构，其可同时执行多种操作。受此启发，本文提出了一种NR-IQA算法，并在FPGA板上进行了实现。深度卷积神经网络（CNNs）被用来自动地、分层地学习IQA中最具区分能力的质量特征。该模型还可以建立质量特征与预测IQA得分之间的映射关系。总之，本文的主要贡献如下:
（1）提出了一种简单高效的无参考IQA算法，设计了一种深层CNN结构，能够提取高度反映人类视觉感知和认知的自然场景统计特征。因此，图像表示在空间域和谱域都得到了增强。
(2)介绍了一种用于快速IQA的新型FPGA实现。整个硬件结构采用流水线方式进行优化。同时，采用少量的行缓存代替传统的大容量存储。这种设置可以同时节省存储空间，加快运算速度，减小电路规模。
没有与本文相关的作者披露任何潜在的或相关的冲突，这些冲突可能被认为是与本文即将发生的冲突。完整的公开声明请参阅https://doi。org/10.1016/j.image.2020.115780。通讯作者。电子邮件地址:zhuminling@126。电子邮件:gordon399@gxust.edu.cn。https://doi。org/10.1016/j.image.2020.115780
收到7月2日的2019；12月25日收到经修订的2019表格；2020年1月1日接受在线提供202009年2月6日23-5965/2020 Elsevier B.V.保留所有权利。朱明良、丁玉.图像处理:图像通信83（2020）115780
图1。比较不同类型的视觉失真的图像。（a）原始图像；（B）加性高斯噪声；（C）空间相关噪声；（d）高频噪音；（e）量化噪声；（f）高斯模糊；（G）图像去噪；（H）对比变化。
2.相关工作
2.1图像质量评价
对于FR-IQA，在文献中已经有很多有影响力的算法。例如，峰值信噪比（PSNR）[3]被普遍用于评估压缩图像的质量。在信号处理相关研究领域，PSNR被认为是一种通用的图像质量评价标准。该算法计算复杂度小，易于快速实现。然而，PSNR不能编码人类视觉系统的一些重要方面。(HVS）[4]。提出了一种新的IQA方法，称为结构相似指数（SSIM）[1]，以增强HVS。后来，Z.Wang等人针对IQA提出了多尺度结构相似性指数（MS-SSIM）[5]和信息含量加权结构相似性指数（IW-SSIM）[6，7]。在各种环境和分辨率下获取的图像细节被协作地无缝集成到IQA流水线中。视觉信息保真度（VIF）算法使用高斯尺度混合（GSMS）[8]在小波域中对自然图像进行建模，该模型由源模型、失真模型和HVS模型组成。
最明显失真（MAD）[9]算法是基于人类视觉系统（HVS）综合了多种图像质量评价方法，包括局部亮度、对比度掩蔽和空间频率分量的局部统计变化来量化图像失真的假设而提出的。特征相似性指数（Feature Similarity Index，FSIM）[10]算法强调人类视觉系统感知图像主要是利用相位一致性和图像梯度幅度来计算图像质量得分。FSIMC[9]算法是通过结合颜色特征和基于相位一致性信息的加权平均得到的。视觉显著性诱导指数（VSI）[11]算法用显著图代替FSIMC中的相位一致性特征。它保留了FSIMC中的梯度和颜色信息。并且随后改善了这种效果。梯度幅度相似差（GMSD）[12]采用梯度作为质量感知特征，并进一步使用标准差池代替传统的均值池，取得了令人印象深刻的IQA性能。
虽然FR-IQA算法取得了较好的效果，但在实际应用中，参考图像是不可用的，只能得到参考图像的部分视觉线索或隐含的视觉特征。RR-IQA算法可以解决这一问题。所谓的分组变换。此外，Guanawan等人[14]提出了一种基于局部谐波分析的约简参考IQA算法，该算法对分块或模糊的降质图像进行评价，计算局部谐波幅值统计量，最后利用该特征与失真图像一起评价图像质量。
在真实世界的场景中，人们可以在没有错误和参考图像的情况下确定每个失真图像的质量。然而，从计算机硬件的角度来看，这项任务是相当具有挑战性的。
NR-IQA算法试图在没有参考图像的情况下评估图像质量。我们可以通过学习与失真图像中这些统计数据的偏差程度相对应的特征来估计图像的质量，例如Blinds-II[15]。这一过程通常是令人难以忍受的缓慢，由于高耗时在图像转换。基于SVM的IQA方法首先提取图像的空间域或变换域特征，包括基于已有质量特征的支持向量回归[16]，或针对失真图像采用SVM SVR模型。许多软件版本，如Biqi[17]、Diivine[18]、Brisque[19]都可以在网上找到。在一些文献中，提出了一些无参考的IQA模型，如NIQE[20]和基于码书的Cornia[21]。
2.2.FPGA实现
随着大规模集成电路和现场可编程门阵列技术的发展，FPGA越来越多地应用于成像领域。这使得图像采集与处理设计向着高速、大容量、体积小、重量轻的方向发展，也为图像采集与处理系统的设计与实现提供了新的方法和思路。目前，利用硬件实现各种图像处理算法已成为最新的研究热点。因此，充分利用硬件系统并行计算的速度优势，积极开展基于颜色插值算法的研究，并将其应用到图像采集系统中，具有重要的理论和现实意义。
近几年来，随着大规模可编程逻辑器件的发展和嵌入式技术的不断进步，低成本一直在不断发展。半导体技术的进步不仅降低了成本，而且在不断集成新的硬件资源如嵌入块、嵌入块、锁相环、高速外部存储器接口端和高速接口的同时，也显著地提高了它们的性能。在公司内部，也可以集成软处理器及其外围设备，它们是软处理器系统中应用最广泛的。作为一个平台，它显然适合高性能和低成本的视频和图像应用。
基于FPGA的计算机视觉研究主要集中在底层图像处理和特征提取方面。底层图像处理算法是指基本的图像处理操作。其计算量大，运算相对简单，可并行化。例如，[22]详细讨论了一种高效的流水线结构Systolic Structure，其中窗口操作是用FPGA实现的。[23]设计了一个基于FPGA的2 M.-L.Zhu和D.-Y.Gesignal Processing:Image Communication 83（2020）115780
图2提出了用于图像质量特征提取的CNN结构。
图像卷积核[24]为使用FPGA实现中值滤波算法设计了多种解决方案，包括同步电路和异步电路解决方案。在中[25],设计了一种基于FPGA的小波域图像去噪处理系统。在中[26。,在FPGA上实现了基于遗传算法的图像滤波算法。[27]采用FPGA进行图像几何失真的校正计算。[28]介绍了实时快速傅立叶变换（FFT）在FPGA中的实现。[29]在FPGA中采用了基于总线和基于模块的体系结构，实现了视频图像的灵活处理。中所述的工作[30]实现了实时尺度不变特征。(筛分通过软硬件分离，充分挖掘FPGA的并行计算能力，实现特征点提取。在[31]中，利用FPGA实现了Harris-Laplace特征点检测器的实时计算，开发了能够以30f/s处理640times;480视频图像的嵌入式视觉系统。
3.提出的方法
在这一部分中，详细描述了所提出的NR-IQA算法。如图2所示，我们使用Deep CNN进行特征提取[32]，并介绍了几个有助于提高模型性能的关键组件。
在训练CNN模型时，我们首先对输入图像进行局部归一化，作为预处理步骤。输入图像的局部归一化类似于[33]中的方法。对于图像块，首先执行归一化均值减法和对比度归一化（MSCN）。局部非线性运算采用MSCN计算，它可以消除局部平均位移和归一化局部方差，并提供去相关效应。这种归一化操作可以从空间域提取可区分的特征，而不需要计算复杂的图像变换。根据[34],对于自然图像，这些归一化亮度值分布趋向于标准高斯分布。如果图像发生畸变，MSCN系数的特征统计量也会发生改变。量化这些变化将使预测图像失真的类型成为可能。该模型对图像局部亮度系数进行归一化处理和预处理。具体流程如下。首先，将图像从红、绿、蓝（RGB）颜色空间转换到Lab颜色空间。Lab颜色空间更接近人的视觉特性，其L分量更符合人对亮度的感知。接下来，我们将图像分成大小为32times;32的非重叠块。假设位置（I，J）处的亮度分量为L（I，J），则其归一化亮度分量eta;（I，J）可计算如下:
|
̂ |
( , ) minus; ( , ) |
(1) |
|||||||||
|
( , ) = |
( , ) 1 |
||||||||||
|
sum; sum; |
|||||||||||
|
1 |
|||||||||||
|
( , ), |
|||||||||||
|
where ( , ) = |
|||||||||||
|
(2 1)2 |
=1 |
||||||||||
|
=1 |
|||||||||||
|
radic; |
|||||||||||
|
radic; |
1 |
sum; sum; |
|||||||||
|
( , ) = |
radic; 剩余内容已隐藏，支付完成后下载完整资料 资料编号：[239723]，资料为PDF文档或Word文档，PDF文档可免费转换为Word |
||||||||||
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
