[BorderDet 边界特征检测器 ECCV2020] Bor

2021-04-12 本文已影响0人 ganyd

原作者：Han Qiu1等笔记整理：ganyongdong 2021.02.24

1.摘要

SSD、RetinaNet、FCOS等检测器采用点特征预测bbox
- 但是点特征感受野有限，不足以精确表示完整的目标实例
- 同时，点特征也缺少边界信息来精确定位bbox；
许多研究也着力于提取比点特征更多的表示特征，比如GA-RPN, RepPoints, Cascade RPN, RoI pooling, RpIAlign等
- 提取更多表示特征的过程中存在不必要的计算和引入更多背景影响
- 这些方法都潜在或间接地提取了边界特征，其实可以更直接明确提取特定边界特征
文章提出Border-Align（边界对齐）算子和Border Alignment Modules (BAM)
- 用于微调分类和bbox回归结果
- 比其他特征增强方法花费更少的计算，得到更高的精度
- 该模块容易集成到各anchor based和anchor free方法中

文章通过一组实验验证了边界特征对目标检测的重要性

BorderDet验证边界特征重要性实验结果
实验是FCOS作为baseline， $F_{point}$ 是第一次预测用到的点特征，在FCOS倒数第二个特征图中重新提取以下几种特征， $F_{point}^{ ' }$ , $F_{region}$ , $F_{border}$ , $F_{middle}$ ，这些表示第二次预测用到的特征，也就是增强特征，统计实验结果如table1所示。
- (a)实验用单点特征预测，AP精度不高
- (b)实验用区域特征增强，在采样点周围用RoIAlign进行区域密集采样提取特征，精度较(a)提升1个点的AP，但是复杂度高，为 $n^2+1$
- (c)实验用边界特征增强，这里的边界特征是密集的边界特征，精度较(b)下降了0.3点AP，但是复杂度降低了许多
- (d)实验用边界的中心点特征增强，精度达到了(b)中的区域特征，而且复杂度进一步降低
实验说明区域特征比点特征能更精确预测结果，但是区域特征很多是多余的，直接提取边界特征更简单有效，由此，作者提出了采用边界极限点特征

BorderAlign操作用于提取边界极限点特征

BorderDet结构图
BorderAlign输入由两部分组成
- 边界敏感特征图I，具有(4 + 1)个C通道，其中4C通道对应于四个边界(左、上、右、下)特征，1C通道对应于原始单点特征
- 粗bbox回归结果
边界敏感特征图I中对应粗bbox回归框的位置，每个边界被均匀地细分为N个点，然后经过max-pooling汇集每条边的边界极限特征。
输出特征图F表达式如下：

BorderDet BorderAlign输出计算公式
- $(x_0,y_0,x_1,y_1)$ 是粗回归bbox的左上角和右下角坐标， $w$ 和 $h$ 是粗回归bbox的宽和高
- 提取 $I_c$ 上的N个点特征值可能存在小数位置上的特征值，为了避免测量误差，采用双线性插值

BorderDet可视化特征图

如4中fig3所示绿色虚线框中部分，BAM的输入是HxwxC的特征图，经过1x1卷积得到Hxwx5C的边界敏感特征图，该边界敏感特征图结合粗bbox回归结果一起输入到BorderAlign中进行边界对齐操作，然后输出仍然是Hxwx5C的特征图，但是这个时候边界处的特征已经最大池化成了极限点特征，然后再经过1x1卷积回HxWxC特征图。保证了输入输出相同，也使得该模块容易集成到各个网络结构中。
- 回归分支C是256，分类分支C是128。
对于两步检测器，同样使用BAM模块增强RPN的原点特征

以anchor free检测器FCOS作为baseline。
FPN得到的特征图作为输入，BorderDet先预测粗略分类得分和粗略bbox回归框，然后将粗回归框和特征图输入到BAM模块，得到的精确回归框结果输出，另一个BAM模块将粗回归框输入得到精细分类得分，该得分乘以粗略分类得分为最后总得分。
损失函数：

BorderDet损失函数
$L_{cls}^C$ 和 $L_{reg}^C$ 是粗略分类和粗略回归的损失函数，分别采用focal loss和IoU loss
$L_{cls}^B$ 是边界分类的focal loss，这部分取所有正样本的边界分类损失平均值， $p^B$ 表示预测的边界分类得分， $C^{ * }$ 是真实标注。
所有真实标签非背景( $C^{ * }>0$ )的都计算边界回归损失 $L_{reg}^B$ ， $\Delta$ 表示预测框相对真实框的偏移量，使用L1损失。