AResU-Net: Attention Residual U-

论文：4区 OA 2020
数据集：BraTS 2017，BraTS 2018

1. Introduction

脑瘤是生长在人脑中的异常细胞，被认为是一种常见的神经系统疾病，对人体健康危害极大[1]。作为辅助诊断和治疗脑瘤的重要方法，在脑磁共振图像上进行脑瘤自动分割在临床医学上具有重要意义[2]。最常见的恶性脑肿瘤是胶质瘤，可进一步分为高等级胶质瘤（HGG）和低等级胶质瘤（LGG）[3]。磁共振成像（MRI）是一种典型的非侵入性成像技术，可以产生高质量的脑部图像，没有损伤和颅骨伪影，被认为是诊断和治疗脑肿瘤的主要技术手段。 通过多模态脑图像，医生可以对脑肿瘤进行定量分析，为患者制定最佳诊断和治疗方案[4]。然而，由于脑肿瘤大小、形状和结构的变化，以及邻近组织和设备噪声的影响，从MRI脑图像中准确定位和分割肿瘤是非常具有挑战性的。幸运的是，随着深度学习技术的不断突破，基于深度学习的自动图像分割方法也取得了很大的发展。 2014年，Long等人[5]提出了一种用于自然图像分割的新型端到端完全卷积网络（FCN），为自然图像分割领域注入了活力[6-13]，并被迅速引入解决脑肿瘤分割问题。在FCN模型的启发下，Ronneberger等人[14]进一步提出了一个名为U-Net的对称完全卷积网络，用于医学图像分割。U-Net由一个包含多个卷积层的收缩路径组成，用于对输入图像进行下采样，一个扩展路径用于对深层特征图进行上采样，还有一个跳转连接用于合并编码器-解码器网络中的裁剪特征图，在很大程度上提高了医学图像的分割性能。如今，U-Net已经成为解决脑瘤分割任务的一个里程碑。同时，各种改进的U-Net方法，如ResU-Net[15]和Ensemble Net[16]，也被提出来，以获得脑瘤分割问题的优异性能。

此外，在计算机视觉领域，注意力机制已经被证明可以有效地捕捉长距离的依赖性和重要的反应。Wang等人[17]提出了非局部神经网络（NL-Nets），通过将查询特定的全局上下文聚合到每个查询位置来捕捉长距离的依赖关系，在视频分类和图像识别应用中取得了良好的效果。作为一项同时进行的工作，Hu等人提出了挤压和激发网络（SENets）[18]，以软注意的方式解决各种通道的全局空间信息，即学习和重新缩放通道的缩放因子。由于U-Neth要逐步恢复由固有的池化和滞后卷积引起的下采样图像，注意力机制可以更好地架起从深层到浅层的信息流，引导上采样的学习。因此，对于现有的U-Net模型在脑瘤分割任务中，通过增强其捕捉局部反应的能力，可能会导致更高的分割精度。在此基础上，我们尝试将注意力机制嵌入到脑瘤分割中，以探索局部反应的影响。具体来说，我们通过在U-Net中同时嵌入注意机制和剩余单元，提出了一个端到端的二维脑肿瘤分割网络，以进一步提高性能。 该工作的主要贡献总结如下。 (1) 在这项工作中，提出了一个端到端的二维注意力残差U-Net(AResU-Net)来解决脑瘤分割任务，它成功地将注意力和挤压激发（ASE）单元和残差块嵌入到U-Net网络结构中。AResU-Net的整体结构可以显示在图1中。 (2) AResU-Net在跳过连接上增加了一系列ASE单元，以适应性地增强下采样特征的局部响应，用于后续上采样过程的特征恢复，这有助于减少下采样和上采样阶段的语义差距。 3）在两个常用的脑肿瘤分割数据集上的实验结果，即BraTS 2017和BraTS 2018，说明AResU-Net可以获得比其基线更好的性能，以及几个典型的二维和三维脑肿瘤分割方法。

2. Related Work

在本节中，我们将回顾与我们的AResU-Net模型相关的三个领域的文献，包括斑块-智慧脑瘤分割网络、脑瘤语义分割网络和注意力机制。

补丁式分割。 最近，在脑瘤分割领域开发了一些深度网络，与传统方法相比，取得了明显的性能改进。 其中，基于补丁的脑肿瘤分割网络，作为早期提出的代表性作品，是在带有标签的小补丁上进行训练，以正确区分脑肿瘤和正常组织。 为了实现良好的性能，研究人员设计了各种模块，将不同片区之间更多的上下文联系信息引入网络。Havaei等人[24]将多尺度和多路径模块嵌入二维网络结构，以获取更丰富的上下文信息。Urban等人没有利用二维卷积神经网络（CNN）作为主干，而是通过三维CNN[25]结构提出了一个基于斑块的脑肿瘤分割网络。 Pereira等人[26]利用小的3×3卷积核设计了一个更深的网络，实现了更多的非线性，有效地减少了过拟合问题。为了进一步提高分割性能，Kamnitsas等人[27]采用了具有密集结构的双通路3DCNN模型进行脑瘤分割任务，该模型还对输入图像进行了多尺度处理，并通过使用条件随机场（CRF）对结果图像进行后处理。这项工作最终获得了BraTS 2015比赛的第一名。此外，Zhao等人[28]整合了完全卷积神经网络和CRF，从轴向、矢状面和冠状面训练了三个二维补丁模型，采用基于投票的融合策略，完成了脑瘤分割工作。

语义上的分割。语义分割模型将全脑图像中的每个像素点分类为一个指定的标签来完成脑瘤分割。 大多数用于脑瘤分割任务的语义分割模型都是基于Ronneberger等人提出的U-Net架构[14]，该架构也被广泛用于其他医学图像分割任务。U-Net包含一个捕捉上下文信息的收缩路径和一个确保准确定位的扩展路径，在很大程度上提高了医学图像分割任务的性能。Dong等人[29]开发了一个基于U-Net的二维脑肿瘤分割网络，并采用实时数据增强来完善其分割性能。 Kong等人[30]在U-Net结构中嵌入了一个特征金字塔模块，以整合多尺度语义和位置信息，有效提高了分割精度。此外，级联策略、密集块、扩张卷积和上跳连接也被引入到U-Net架构中[31-35]，不断优化网络结构以追求更准确的肿瘤分割结果。

注意机制。 注意机制已被越来越多地应用于各种计算机视觉任务，从目的上看，可以大致分为两类。第一种目的是关注长距离的依赖关系。 NL-Net，作为Wang等人[17]的代表作品，可以通过所有反应的加权和来产生新的空间特征反应，以捕捉空间维度的长距离依赖性。基于NL-Net模型，Zhao等人[21]设计了位置敏感的NL来学习长距离的背景，取得了令人印象深刻的分割结果。Fu等人[36]提出了由空间注意和通道注意组成的双注意模块，用于语义分割，其中空间注意类似于NL-Net中的非本地(NL)操作，通道注意也遵循同样的思路。此外，Zhang等人[37]用先验分布扩展了NL，并建立了一个具有权重的NL集合，以进一步提高分割性能。注意机制的另一个目的是学习每个通道的缩放因子，以获得特征图。一个典型的工作是SENet[18]，它专注于通道关系，并执行动态的通道特征再校准，以提高特征表达。EncNet[19]没有使用简单的全局平均池来总结特征的统计数据，而是采用了VLAD[38]编码器来收集它们，并且编码器的输出也通过全连接层来获得通道明智的因素。在图像分割的上采样阶段，DFN[20]和PAN[39]将具有更强语义的深层特征输入到类似SE的注意块中，以提供用于精确恢复细节的高级类别信息。 有了这样一个块，来自深层和浅层的特征被很好地结合起来，增强了对具有较大分辨率但语义较弱的特征的学习，有助于重组原始图像分辨率。受注意力的成功启发，我们探索它来学习通道方面的因素，以选择性地增强通道反应。