英语原文共 8 页
Unet - 一种针对生物图像分割的卷积神经网络
摘要：
目前普遍认为一个成功的深度神经网络要求大量标注好的训练样本。在这片文章中，我们提出了一个神经网络和一个依赖于强大的数据增广的训练策略去更有效率的使用提供的标注数据。本文中的网络结构包括一条一个收缩路径来获取上下文信息以及一个对称的扩张路径用以精确定位。
我们通过实验表明这样的一个网络可以通过非常少的图像数据集进行端到端的训练并且优于之前的最佳方法（滑动窗口卷积网络）
在ISBI比赛中电子显微镜下细胞图像分割的实验结果。使用相同的网络在透射光显微镜图像（相位对比度和DIC）上的训练使我们在2015年的ISBI细胞追踪挑战赛中以较大优势获得冠军。而且unet网络的速度很快，在最近的GPU上做512x512图像的预测分割任务时间不到一秒。
1 介绍
在过去的两年中，深度卷积网络在许多视觉识别任务中的表现都超过了现有技术水平。尽管卷积神经网络已经产生很长时间，他们的成功受限制于可提供训练数据集的大小和所考虑网络的规模。Krizhevsky的突破是由于监督训练了一个大型网络，该网络在ImageNet数据集上有8层和数百万个参数，有100万个训练图像。从那时起，即使是更大更深的网络也需要经过训练。
卷积网络的典型用途是分类任务，其中图像的输出是单个类别标签。然而在许多视觉任务中，尤其是在生物医学图像处理中，期望的输出应该包括定位，即应将分类标签分配给每个像素。此外生物医学任务中通常无法触及数千个训练图像。因此Ciresan在滑动窗口设置中训练网络，通过在该像素周围提供局部区域来预测每个像素的类别标签作为输入。首先这个网络可以局部化训练，其次就训练数据而言图像块的数量远远大于训练图像的数量。 所结果的网络在ISBI 2012上大幅提升了EM分段挑战。
显然，Ciresan的策略有两个缺点。 首先它非常慢，因为必须为每个图像块单独运行网络，并且由于图像块重叠而存在大量冗余。 其次，在局部化准确性和上下文的使用之间存在权衡。 较大的图像块需要更多的最大池层来降低定位精度，而小图像块则允许网络只能看到很少的上下文。最近的方法提出了一种分类器输出，其考虑了来自多个层的特征，良好的局部化和上下文的使用是可能的。
在这篇文章中，我们建立在一个更加优雅的网络结构上，即所谓的全连接神经网络。我们修改和扩展了这个网络使之能够利用很少的图像训练并给出更精确分割预测。详见图一中主要思想是通过连续层补充通常的收缩网络，将其中的池化操作由上采样操作替换。因此，这些层增加了输出层的分辨率。为了进行局部化，我们将来自收缩路径的高分辨率特征与上采样输出相结合。然后连续卷积层可以基于该信息学习组装来输出更精确的分割。
我们的架构中的一个重要修改是在上采样中部分我们还有大量的特征采集通道，允许网络将上下文信息传播到更高分辨率的层。 作为结果，扩张路径或多或少地与收缩路径对称，形成了一个U形的结构。网络没有任何全连接的层并且仅使用每个卷积的有效部分，即仅使用分割图包含像素，输入图像中的完整上下文可用。该策略允许通过a无缝分割任意大的图像重叠瓦片策略（见图2）。要预测图像中在边界区域中的像素位置，需要通过镜像输入图像来推断缺失的上下文。这种平铺策略对于将网络应用于大图像是十分重要的，否则分辨率将受GPU内存的限制。
对于我们的任务来说训练数据集很少，我们利用通过对可用的训练图像应用弹性变形来进行数据增广。这样使网络在标注数据集中不看到这些变换的情况下通过对增广数据学习增强泛化能力。这个对生物医学图像的分割显得尤为重要，因为图像变形曾经是生物组织中最常见的变化，并且可以有效地模拟真实的变形。Dosovitskiy等人已经证明了在无监督特征学习的范围内学习不变性的数据增加的价值。
许多细胞分割任务中的另一个挑战是分离同一类的触摸物体; 为此，我们建议使用加权损失，其中触摸单元之间的分离背景标签在损失函数中获得大的权重。
此产生网络适用于各种生物医学分割问题。在本文中，我们通过使用Ciresan等人的网络预测展示了EM堆栈中神经元结构分段的结果（ISBI 2012开始的）。此外我们在2015年ISBI细胞追踪挑战的光学显微镜图像中显示了细胞分割的结果使我们在两个最具挑战性的2D透射光数据集上获得了巨大的优势。
2 网络结构
这个网络结构在图一中所示，它由一个收缩路径(contracting path)来获取上下文信息以及一个用以精确定位对称的扩张路径(expanding path）组成。这个收缩路径采用了典型的卷积神经网络结构，它由重复的两层3*3卷积核的卷积层（没有添加补零的卷积），并在每一层后跟随一个线性修正单元（ReLU）和一个伴随2步长的下采样的2*2的最大池化操作。在每一次下采样步骤后我们将特征通道的数量加倍。
扩张路径中的每一步都包括一个上升的路径，特征图后跟2x2卷积(上卷积)将特征通道的数量减半，与来自收缩路径的相应裁剪特征图串联，再依次经过两个3*3卷积核的卷积层（每个卷积层后跟随ReLU层）。图像裁剪操作是必要的，因为每个卷积中边界像素会丢失。在最后一层，使用1x1卷积将每个64分量特征向量映射到所需数量的类。在整个网络中存在23个卷积层。
为了实现输出分割图的无缝平铺（参见图2），选择输入图块大小非常重要，这样所有2x2最大池操作都应用于具有偶数x和y尺寸的图层。
3 训练
输入图像及其相应的分割图用于训练网络，采用Caffe [6]的随机梯度下降实现。由于未填充的卷积，输出图像小于输入的恒定边界宽度。为了最大限度地减少开销并最大限度地利用GPU内存，我们倾向于在大批量大小的情况下使用大型输入切片，从而将批量减少到单个图像。因此我们使用高动量（0.99）使得大量先前看到的训练样本确定当前优化步骤中的更新。
能量函数通过最终特征图上的逐像素软最大值与交叉熵损失函数组合来计算。soft-max函数被定义为
其中表示在像素位置xisin;Omega;处的特征通道k中的激活量，Omega;sub;Z
K是类的数量，是近似的最大函数。即对于具有最大激活的k、asymp;1，对于所有其他k、pk（x）asymp;0。然后交叉熵在每个位置通过 来计算与1的偏差Omega;。
我们预先计算每个地面实况分割的权重图，以补偿训练数据集中某个类别的不同像素频率，并迫使网络学习我们在触摸单元之间引入的小分离边界。使用形态学运算计算分离边界，然后将权重图计算为：
其中wc：Omega;→R是平衡类频率的权重图，d1：Omega;→R表示距离最近单元格边界的距离，d2：Omega;→R表示距离第二个最近单元格边界的距离。 在我们的实验中，我们设置w0 = 10和sigma;asymp;5个像素。在具有许多卷积层和通过网络的不同路径的深度网络中，权重的良好初始化是极其重要的。否则网络的某些部分可能会过度激活，而其他部分则不会发挥作用。理想情况下应调整初始权重，使得网络中的每个特征图具有近似单位方差。 对于具有我们的体系结构（交替卷积和ReLU层）的网络，这可以通过从具有标准偏差p2 / N的高斯分布绘制初始权重来实现，其中N表示一个神经元的输入节点的数量[5]。 例如。 对于前一层中的3x3卷积和64个特征通道，N = 9·64 = 576
3.1 数据增广
当只有少数训练样本可用时，数据增加对于教授网络所需的不变性和鲁棒性属性至关重要。在6个显微镜图像的情况下，我们主要需要移位和旋转不变性以及对变形和灰度值变化的鲁棒性。特别是训练样本的随机弹性变形似乎是训练分割网络的关键概念，只有很少的注释图像。我们使用粗略使用3乘3网格上的随机位移矢量生成平滑变形。位移是从具有10个像素标准偏差的高斯分布中采样的。然后使用双三次插值计算每像素位移。收缩路径末端的丢弃层执行进一步的隐式数据扩充。
4 实验
我们演示了u-net在三种不同分割任务中的应用。第一项任务是电子显微镜记录中神经元结构的分割。图2显示了数据集和我们获得的分割的一个例子。我们提供了完整的结果作为补充材料。数据集由启动的EM分段挑战[14]提供。在ISBI 2012，仍然可以参加新的贡献。训练数据是来自果蝇第一龄幼虫腹侧神经索（VNC）的连续切片透射电子显微镜的一组30个图像（512times;512像素）。每个图像都带有相应的完全注释的地面真实分割图，用于细胞（白色）和膜（黑色）。该测试集是公开的，但其分段图保密。可以通过将预测的膜概率图发送给组织者来获得评估。评估是通过在10个不同的级别对地图进行阈值处理并计算“扭曲误差”、“随机误差”和“像素误差”[14]来完成的。
这个unet（平均超过7个版本的输入数据）在没有任何预处理或后处理的情况下达到了0.0003529的扭曲误差（最新的最佳分数）和0.0382的随机误差。这个结果比之前的滑动窗口卷积神经网络，0.000420的扭曲误差和0.0504的随机误差的结果要好很多。就rand误差而言，该数据集上唯一性能更好的算法使用高度数据集特定的后处理方法，应用于Ciresan等人的概率图。
我们还将unet应用于光学显微镜图像的细胞分割任务，这个分割任务是ISBI2014年和2015年细胞检测比赛的任务。第一个“PhC-U373”的数据集包括胶质母细胞瘤，星形细胞瘤和通过相差显微镜记录聚丙烯酰亚胺基底上的U373细胞。它包括35个部分标记的训练数据集。这里我们达到了平均IOU 92%的水平，比第二名的83%IOU的算法要好很多。第二个“DIC-HeLa”数据集是是通过微分干涉对比（DIC）显微镜记录在平板玻璃上的HeLa细胞。它包括20张部分标注的训练数据，这里我们取得了平均IOU 77.5%的成绩，比第二名的46%IOU的算法好很多。
5 结论
unet网络结构在不同的生物医学图像分割应用上有很好的表现，由于弹性变形的数据增强，它只需要非常少的标注图像，并且在NVidia Titan GPU（6 GB）上只有非常合理的10小时左右训练时间。我们提供完整的基于Caffe 的实现和训练有素的网络，我们确信u-net架构可以轻松应用于更多任务。
Unet : 用于医学图像分割嵌套的U-Net架构
摘要：
在本文中，我们介绍了UNet ，一种用于医学图像分割的新的，更强大的结构。我们的架构本质上是一个深度监督的编码器 - 解码器网络，其中编码器和解码器子网络通过一系列嵌套的密集跳过路径连接。重新设计的跳过路径旨在减少编码器和解码器子网络的特征映射之间的语义差异。我们认为当来自解码器和编码器网络的特征映射在语义上相似时，优化器将处理更容易的学习任务。我们评估了UNet 与U-Net和广泛的U-Net架构在多个医学图像分割任务中的比较：胸部低剂量CT扫描中的结节分割，显微镜图像中的细胞核分割，腹部CT扫描中的肝脏分割和结肠镜检查视频中的息肉分割。我们的实验证明深度监督的UNet 分别比U-Net和宽U-Net实现了3.9和3.4点的平均IoU增益。
1 介绍
用于图像分割的最先进模型是编码器的变体，解码器架构如U-Net和完全卷积网络（FCN）。这些用于分段的编码器-解码器网络共享密钥相似性：跳过连接，其将来自解码器子网的深的、语义、粗粒度特征映射与来自编码器子网的浅的、低级、细粒度特征映射组合。 事实证明跳过连接在恢复目标对象的细粒度细节方面是有效的; 即使在复杂的背景下也可以生成具有精细细节 跳过连接也是实例级分割模型（如MaskRCNN）成功的基础，它可以对被遮挡对象进行分割。 可以说，自然图像中的图像分割已达到令人满意的性能水平，但这些模型是否满足医学图像的严格分割要求？
医学图像中的分割损伤或异常需要比自然图像中所期望的更高的准确度。虽然精确的分割掩模在自然图像中可能不是关键的，但是即使医学图像中的边缘分割误差也会导致临床环境中的差的用户体验。例如结节周围细微的毛刺模式可能表明结节恶性; 因此，从临床角度来看，将它们排除在分割掩模之外会降低模型的可信度。此外，不准确的分割还可能导致后续计算机生成的诊断发生重大变化。例如纵向研究中结节生长的错误测量可能导致分配不正确的Lung-RADS
筛选患者的类别。因此期望设计更有效的图像分割架构，其可以有效地恢复医学图像中的目标对象的精细细节。
为了满足医学图像中更精确分割的需要，我们提出了UNet ，一种基于嵌套和密集跳过连接的新分割体系结构。我们的架构背后的基本假设是，当来自编码器网络的高分辨率特征图在与来自解码器网络的相应语义丰富的特征图融合之前逐渐丰富时，该模型可以更有效地捕获前景对象的细粒度细节。我们认为当来自解码器和编码器网络的特征映射在语义上相似时，网络将处理更容易的学习任务。这与U-Net中常用的普通跳过连接形成对比，U-Net直接将高分辨率特征映射从编码器快速转发到解码器网络，从而导致语义不同的特征映射的融合。根据我们的实验，建议的架构是有效的，比U-Net和宽U-Net产生显着的性能提升。
2 相关工作
Long等人首先介绍了完全卷积网络（FCN），接着Ronetberger等人介绍了UNet。他们都有一个关键的想法：跳过连接。在FCN中，上采样特征映射与从编码器跳过的特征映射相加，而U-Net连接它们并在每个上采样步骤之间添加卷积和非线性。已经显示出跳过连接有助于恢复网络输出处的全空间分辨率，使得完全卷积方法适合于语义分割。灵感来自DenseNet架构Li等人。提出H-denseunet用于肝脏和肝脏肿瘤分割。源于同样的灵感，Drozdzal等人系统地研究了跳过连接的重要性，并在编码器中引入了短跳过连接。尽管上述架构之间存在细微差别，但它们都倾向于融合来自编码器和解码器子网的语义不同的特征映射，根据我们的实验这会降低分段性能。
另外两个最近的相关工作是GridNet和Mask-RCNN。GridNet是一种编码器-解码器架构，其中特征图以网格方式连线概括了几种经典的分段架构。但
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
