《ContourNet: Taking a Further St

2023-03-25 本文已影响0人 ce0b74704937

论文地址：《ContourNet: Taking a Further Step toward Accurate Arbitrary-shaped Scene Text Detection》

github地址：https://github.com/wangyuxin87/ContourNet

该论文发表与CVPR2020。

文章认为现在自然场景主要存在两个挑战：1. 误检问题 2. 自然场景中文本尺度变化较大使得网络难以学习。

为了解决上述的两个问题，文章提出了Local Orthogonal Texture-aware Module (LOTM)来缓解误检问题，Adaptive Region Proposal Network（Adaptive-RPN）来解决文本尺度问题。

一、网络结构

ContourNet整体结构如下图所示。可以看出网络主要由三部分，Adaptive Region Proposal Network (Adaptive-RPN), Local Orthogonal Texture-aware Module (LOTM) and Point Re-scoring Algorithm。

整体来看采用的是2-stage的方式。图片先经过backbone+FPN结构的网络，将FPN输出的feature送入Aaptive RPN获取proposals，然后通过Deformable RoI pooling将feature map对应区域特征提取送个LOTM模型，最终经过Point Re-scoring Algorithm输出文本的检测区域。

1.png

1.1 Adaptive-RPN

RPN是2-stage物体检测中常用的结构，通常是在anchor $B_c=\{x_c, y_c, w_c, h_c\}$ 基础上回归获得预测的proposal $B_t=\{x_c+w_c\Delta{x_c}, y_c+h_c\Delta{y_c}, w_ce^{\Delta{w_c}}, h_ce^{\Delta{h_c}}\}$ 。通常训练时采用smooth l1 loss，但是这种loss在大小不同的gt框情况下，对于相同IoU的检测框loss值不一样，所以对于优化检测框IoU来说是不太合适的。

为了解决上述问题，文章提出Adaptive-RPN，不同于RPN回归 $\{\Delta{x}, \Delta{y}, \Delta{w}, \Delta{h}\}$ 。

首先预定义一些点 $P=\{(x_1, y_l)\}^n_{l=1}$ (这n个点中包含了1个中心点和n-1个边界点)，然后回归获得新的点

$R=\{x_r, y_r\}^n_{r=1}=\{(x_l+w_c\Delta{x_l}, y_l+h_c\Delta{y_l})\}^n_{l=1}$ 。

上式中， $\{\Delta{x_l}, \Delta{y_l}\}^n_{l=1}$ 是预测的对应的点offsets， $w_c$ 和 $h_c$ 为对应anchor框的宽和高。

获得回归后的点后，利用max-min函数求得对应的proposal框，公式如下：

$Proposal=\{x_{tl}, y_{tl}, x_{rb}, y_{rb}\}\\=\{min\{x_r\}^n_{r=1}, min\{y_r\}^n_{r=1}, max\{x_r\}^n_{r=1}, max\{y_r\}^n_{r=1}\}$

需要特别说明的是，n点中包含的中心点 $\{x', y'\}$ 也是为了限制框边界的，例如 $如果x_{tl} > x', 那么x_{tl}=x'。$

RPN回归方式和Adaptive-RPN回归方式示意图如下：

2.png

1.2 LOTM

该模块的灵感来源于传统的边缘检测算法，例如Sobel算子。LOTM模块如下所示：

3.png

LOTM由两个平行的支路组成。图中上路分支采用 $1\times k$ 的卷积核对文本水平方向的信息进行提取，相同的下路分支采用 $k\times 1$ 的卷积核对文本竖直方向的信息进行提取。k为超参。两路分支的卷积结果分别经过sigmoid层将feature转为值在[0,1]之间的heatmaps，这两个heatmaps分别表示文字轮廓两个正交方向的响应信息。

1.4 Point Re-scoring Algorithm

该模块就是为了将LOTM输出的两个方向的响应信息融合出最终的轮廓信息。该模型的伪代码如下所示：

4.png

伪代码中的 $NMS_H$ 和 $NMS_V$ 就是采用类似 $1\times k$ 和 $k\times 1$ 的核进行maxpooling操作。k文章采用3， $\theta$ 这里设置为0.5。

经过这一步后就获得了文本最终的文本轮廓。

二、Loss计算

网络采用的Loss如下式所示：

$L=L_{Arpn_{cls}}+\lambda_{Areg}L_{Arpn_{reg}}+\lambda_{Hcp}L_{Hcp}+\lambda_{Vcp}L_{Vcp}+\lambda_{box_{cls}}L_{box_{cls}}+\lambda_{box_{reg}}L_{box_{reg}}$

上式中 $L_{Arpn_{cls}}, L_{Arpn_{reg}}, L_{Hcp},L_{Vcp}, L_{box_{cls}}, L_{box_{reg}}$ 分别表示Adaptive-RPN 分类loss， Adaptive-RPN 回归loss，水平方向的contour point loss，竖直方向的contour point loss， bounding box 分类loss， bounding box回归loss。对应的 $\lambda$ 值除 $\lambda_{Areg}$ 外作为balance的超参，其余都是1.