无痛的CTPN

CTPN算法背景

水平行文本

CTPN算法的提出，出于以下几点：

• 假设文本是水平的

• 文本可以看做由每一个"字母“组成的。这里的字母可以认为是小片段

之所以有这样的想法，是因为基于通用目标检测的算法难以适应文字检测的场景，如上图中的文字，长度方面变化幅度很大。因此作者将文本在水平方向解耦，分成每一个小片，然后将文本行的检测转化为小片的检测，最后利用规则将属于同一水平行的小片组合成文本行。化繁为简。

CTPN创新点

RPN v.s. CTPN

CTPN的创新点主要由以下三点：

• 将文本行拆分为slice进行检测，这样在检测过程中只需要对文本的高度进行先验性的设置anchor。

• 作者认为文本具有时序性，即和阅读习惯一直，从左到右。因此作者加入RNN获取这种语义性。

• 后处理算法：文本连接算法

CTPN与RPN网络结构的差异

灵魂画手版本网络结构

如上图所示，作图为RPN，右图为CTPN的网络结构。可以看到，CTPN本身就是RPN，唯一不同的是加入了双向LSTM获取时序方向的信息，使得模型可以序列性的预测文本的小片。当然这里的不同之处主要有以下几点：

• 双向LSTM对文本行方向编码

• 标签构造方式不同：CTPN使用水平方向的切片框作为回归目标

具体还需根据以下图进行理解：

具体网络结构

CTPN的整体结构：

• 骨干网络为VGG16，其输出为conv5层的输出，stride为16。也就是featur map中的一个像素对应原图的16像素。

• feature map编码输入BLSTM。对于conv5的输出(N, C, H, W), W方向作为时序方向，因此需要reshape得到(N, W, H*C)作为LSTM的输入。

• BILSTM的输出输入至FC中，最终模型三个输出：文本小片的坐标偏移(y, h)。这里作者没有对起始坐标进行预测，因为这部分在标签构造过程有固定的偏移，因此只需要知道文本的y, h，利用固定的偏移可以构造出完整的文本行。

• 边界校准：因为模型没有对文本的起始做约束，因此会存在文本头和尾的小片的预测会多多少少的超出来。因此需要做小部分的微调。

标签构造

标签构造

如上图所示，给定一个文本的标注框，这里为(x, y, w, h)。作者沿着水平方向进行切分，偏移为16个像素。这样就得到了一系列的文本小片。这里左右标记为红色的小片，作者将他们(落在左右两端50像素以内的小片)作为side refinement时候的标签，用来约束网络对文本起始和终止点的矫正。至于这里取偏移为16的原因，是因为conv5的stride为16，相当于feature map中的一个像素对应标签的16的宽度。当然，这里关于感受野，conv5中的感受野为228x228,因此文本行anchor的高度最大不能超过228，如果超出则网络不能很好的进行预测。

网络输出

网络输出

其中，竖直方向坐标的构造如下面式子所示：

这里C为anchor的中心坐标，h为anchor的高度。上下两行分别对应预测值与anchor的相对位置，真值与anchor的相对位置。

边界anchor的矫正：

side refinement

除了所有的小片回归y, h;其中红色的anchor还需额外的回归水平坐标x,式子如下：

原理与上述竖直方向的计算方式类似，只针对处于边界的anchor进行计算。

后处理算法：文本线构造

文本线构造方法

文本线的图参考至知乎专栏https://zhuanlan.zhihu.com/p/34757009。

小结

CTPN中的双向LSTM过于笨重，因此我们需要思考如何替代它。发现有人使用conv1x7替代双向LSTM，亲手实验了一下，以上是效果图。CTPN的算法虽然是2016的算法，但是其针对水平长行的检测现在也是工业级的，算法鲁棒。而这个算法也是文字检测领域对RPN的应用之一。CTPN就讲解这么多，具体还需要阅读论文，阅读代码。

代码链接以及文章链接如下：

https://arxiv.org/abs/1609.03605

https://github.com/tianzhi0549

https://github.com/eragonruan/text-detection-ctpn

---

欢迎关注微信公众号 10分钟深度学习，每天10分钟阅读深度学习