论文阅读-CBAM: Convolutional Block A

2018-11-11  本文已影响0人  叶天羽

研究问题:

在给定特征图下,通过通道和空间两个维度推导出注意力图,然后将注意力图乘到输入的特征图上以用来自适应的细化输入的特征。设计的CBAM是一个轻量的模块,可以方便的集成在任意的CNN模型中。

相关信息:

1、VGGNet通过堆积相同的形状的块并不会使得结果变差;ResNet使用了跳跃连接与相同的拓扑残差块构建了非常深的网络;GoogleNet表明增加网络的宽度可以改善网络的性能;Xception和ResNeXt表明基数比深度与宽度这两个因素具有更强的表示能力。

2、注意力机制不仅可以将注意力集中在感兴趣的区域,还能够提高感兴趣区域的表现力。论文的目的就在于利用注意力机制,关注重要的特征并抑制不重要的特征。

3、卷积操作本质是通过跨通道与空间来提取特征,所以论文就分别设计了通道与空间两个注意力模块。

网络架构:

1、

分为两个子模块,一个是通道注意力模块,一个是空间注意力模块。具体原理如下:

给定一个特征图F \in {\mathbb{R}^{C \times H \times W}},生成的通道注意力图为{M_c} \in {\mathbb{R}^{C \times 1 \times 1}},空间注意力图为{M_s} \in {\mathbb{R}^{1 \times H \times W}},对注意力过程总结如下:

概括来说,就是输入特征图依次与通道注意力图与空间注意力图作点乘,最终得到更加细化的特征图。

2、1)通道注意力模块:

通道注意力图主要是由通道之间的关系得到,过去人们常用平均池化来聚合空间信息,但论文认为最大池化或许能捕获到另外一些重要的特征,所以论文同时使用了平均池化与最大池化。为了降低运算量,首先对特征图的空间维度进行了压缩,之后并行的两种池化操作,将结果输入到一个多层感知机中,最后将结果对应元素相加即得到通道注意力图,公式表示如下:

2)空间注意力模块

通道注意力关注的是目标是什么,而空间注意力则关注的是目标在哪,二者可以相互补充。论文在通道轴上使用了最大池化与平均池化并将其结合起来,之后通过一个标准的卷积操作,得到空间注意力图。其用公式总结如下:

3、经过试验验证,模块插入方式如下:

上一篇下一篇

猜你喜欢

热点阅读