ScratchDet - Train from Scratch
2019-07-29 本文已影响4人
9933fdf22087
论文名：ScratchDet: Training Single-Shot Object Detectors from Scratch
这篇论文主要的贡献如下
(1) 这是一个融入了BatchNorm使得更好地收敛的检测器，在诸如VGG与Resnet上都可以很好的表现。
(2) 修改了网络第一层结构，使得检测准确性有明显的提升，尤其是在小物体检测上。
(3) SractchDet比最前沿的train_from_scratch还要优秀，甚至比一些基于预训练的网络得到的结果也好。
BatchNorm的影响
- 使用BatchSize为128，并且没有加入BatchNorm，最后在VOC2007上得到67.6mAP。
- 加上BatchNorm后，得出的结果提升到71.0mAP，并且优化曲面更加平滑，因此可以使用更大的学习率来加速训练。
- 大学习率的使用导致更容易跳出局部最优解。修改初始学习率10倍后，得出的结果提升到75.6mAP。
- BatchNorm的使用，使得在大的learn rate下，使用预训练的结果反而不如不使用预训练的结果。没有BatchNorm的情况下使用大学习率，模型很容易崩溃不收敛。
第一层下采样的影响
- 一般情况下，RestNet-101优秀于VGG-16，但是，在小输入下（300x300）,基于SSD，VGG-16却在检测上表现得更好。该现象发生的原因是由于Resnet在第一层卷积时的下采样操作（stride=2），而VGGNet第一层stride=1。这点差异使得小目标检测下VGGNet表现得更好。
- 为了验证上述观点得正确性，实验中将ResNet-18得第一层下采样修改stride=1，使得结果从73.1mAP提升到77.6mAP。在此之下，又将第二层做了同样的修改，然而这次的实验结果并没有多大的提升。所以，通过实验得到，第一层的下采样对于检测有着重大影响，尤其是小目标的检测。
四种结构的实验结果
图中四种结构在Pascal2012与2007上做训练，在2007test集上做测试的mAP从左到右分别为73.1，75.3，77.6，78.5。
论文链接：
https://arxiv.org/pdf/1810.08425.pdf
同时发布于公众号：知识交点
