卷积神经网络attention模块

attention模块就是加权的思想。

类型：channel加权，spatial空间位置加权。

channel加权：给与不同channel不同的权值。
spatial空间位置加权：对于特征图上不同位置给与不同权重。

加权值计算

maxpool和avgpool来确定对应位置的权重。sigmoid对权值做归一化。
也有说用softmax将权值在做归一化的同时，概率值加起来等于1，训练起来不好反传吧。

结构如下图

（上）channel attention module；（下）spatial attention module

抛个问题：

大的感受野+attention是不是相当于deformable卷积。