使用PixelLink检测文本

最近在做文字的检测,查阅文献发现PixelLink表现不错,所以试用了一下.
keras版本可参考这里

网络模型结构如下:

image

论文原版的实现是Tensorflow,而我个人比较喜欢keras, 所以将tensorflow的权重(只转换了PixelLink_VGG16 4s)转换为keras模型可读取的权重格式.搭建了PixelLink模型结构.

由于时间有限,并且也只是想要测试一下模型效果,所以只是实现了evaluate部分,训练部分没有实现(如果要训练,加上数据处理,loss function就好了).

结果如下:

image

总结一下,对于英文的检测还是很好的,对中文检测似乎不太理想,对于长文本检测也不太好(也不知道是不是我权重转换细节没有处理好或者两个阈值没有设置好.)

参考

PixelLink: Detecting Scene Text via Instance Segmentation
PixelLink tensorflow version