Non-local Neural Networks

2019-05-16 本文已影响0人挺老实

1 文章说明

方向：基础网络

会议：CVPR2018

1 CNN是建立在local neighborhood上的，即CNN是基于二维网格的，不能建立long-range dependencies

2 对于序列数据，recurrent operations是建立long-range dependencies的主流方法。其存在着计算效率低，优化困难和难以建立反复关系等缺点

本文提出的no-local模块具有的优点：

1 显示建立long-range dependencies

2 计算效率高

3 即插即用

主要公式

其中 $C(x)为归一化参数，f(x_i,x_j)表示特征x_i和x_j之间的权重(相似程度，亲和程度),g(x_j)表示x_j对x_j的关联特征$ 。

为了计算方便，将 $g(x)$ 表示为：

下一步就是确定 $f(x)$ :

文中使用的 $f(x)$ 有：

（1）Gaussian

（2）Embedded Gaussian

（3）Dot product

（4）Concatenation

其计算流程或者结构设计图如图1所示：

图1 提出的no-local结构