yolov3论文阅读笔记

2020-05-15 本文已影响0人欠我的都给我吐出来

简单介绍

yolov3和retinaNet的爱恨情仇，如果看过retinaNet论文可以发现，论文作者在对比图中没有画出yolov2的对比展示图，可能是因为yolov2的时间速度快到超过了画图的下限？不对，应该大概率是不想画上去.......于是在yolov3论文中，作者开篇就自己动手丰衣足食，引用了retinaNet这篇论文中的原图，并且“自作主张”的把yolo的速度画在了第二象限。至少在速度上，充满了一种，天下无敌的萧索之感。

image.png

关于yolo系列的其他论文解读以及和SSD的比较，可以参考我的下面这些文章：
YOLOv1论文解读——简洁版 https://www.jianshu.com/p/b6216a8e961c

yolo9000https://www.jianshu.com/p/a4af2a3b8d72

SSD与yolov1的对比
https://www.jianshu.com/p/1003c02d2874

回到论文yolov3本身，关于正负样本的划分，在yolov2中，首先一个IOU最大的bounding box会负责这个物品，然后同一个grid cell中IOU阈值大于特定值的也会被认为是正样本。在yolov3中，则每个物品只会有一个bounding box和它对应，高于阈值的会被忽略。低于阈值的会被认为是负样本。

网络结构

yolov3的论文处于篇幅角度考虑没有给出网络的结构示意图，网友给出了一个精致的版本：

1.png
DBL: 如图1左下角所示，也就是代码中的Darknetconv2d_BN_Leaky，是yolo_v3的基本组件。就是卷积+BN+Leaky relu。对于v3来说，BN和leaky relu已经是和卷积层不可分离的部分了(最后一层卷积除外)，共同构成了最小组件。
resn：n代表数字，有res1，res2, … ,res8等等，表示这个res_block里含有多少个res_unit。这是yolo_v3的大组件，yolo_v3开始借鉴了ResNet的残差结构，使用这种结构可以让网络结构更深(从v2的darknet-19上升到v3的darknet-53，前者没有残差结构)。对于res_block的解释，可以在图1的右下角直观看到，其基本组件也是DBL。
concat：张量拼接。将darknet中间层和后面的某一层的上采样进行拼接。拼接的操作和残差层add的操作是不一样的，拼接会扩充张量的维度，而add只是直接相加不会导致张量维度的改变。

结合下面这个具体的表格，食用效果更佳：

2.png

yolov2是基于Googlenet的思路设计了Darknet-19,作者认为VGG的运算太多了，但是也参考了VGG中的思路，主要构成是卷积和最大池化层，使用卷积层改变通道数，使用最大池化层缩减长宽。yolov3则参考了resnet,在网络中不再使用最大池化层，直接使用卷积步长改变长宽比。yolov3的backbone叫Darknet-53,看起来就比yolov2的复杂。

我们来额外关注一下，yolov3的输出：

image.png

yolo v3输出了3个不同尺度的feature map，如上图所示的y1, y2, y3。这也是v3论文中提到的为数不多的改进点：predictions across scales

在yolov2中，作者已经参考了SSD以及Faster RCNN的经验，使用了最后两层的结构，拼接来获得细粒度的检测效果，在yolov3中加强了这种思路，这个借鉴了FPN(feature pyramid networks)，了一种不同的方式得到不同粒度的检测。

作者并没有像SSD那样直接采用backbone中间层的处理结果作为feature map的输出，而是和后面网络层的上采样结果进行一个拼接之后的处理结果作为feature map。为什么这么做呢？这里参考的是FPN，我感觉是有点玄学在里面，一方面避免和其他算法做法重合，另一方面这也许是试验之后并且结果证明更好的选择，再者有可能就是因为这么做比较节省模型size的。这点的数学原理不用去管，知道作者是这么做的就对了。
（https://blog.csdn.net/leviopku/article/details/82660381）

损失函数

损失函数依旧由三个部分组成：位置损失函数、confidence loss、classification loss.

位置损失和类别损失函数都不会考虑负样本情况，只针对正样本，只有confidence loss会同时考虑正负样本。这个和之前的yolo版本一致。

1. confidence loss

计算objectness score，也就是和四个坐标一起预测的和真实物品的IOU值的预测值，使用逻辑回归计算的。为啥要使用逻辑回归？这里的思路需要理解一下，首先对于真实的ground truth,如果我们已经预测了anchor prior的位置，那么就可以直接得到IOU，通过IOU我们可以知道哪个prior是最合适的，是应该被认为负责了ground truth物品的，那么这个框的object score就应该为1，我们希望其预测结果尽可能的接近1，对于其他的即使IOU高于阈值（0.5）的框，我们会忽略他们，而对于低于这个阈值的IOU就会被当做是负样本，其逻辑回归值应该尽可能的接近0，使用逻辑回归很适合这种正负样本的分类问题，于是就把度量IOU的loss转为了逻辑回归的思路。

image.png

我们看看在yolov2中是怎么计算这里的损失函数的，第一项是预测错误的情况，bijk是错误的IOU值；第二项是正确预测的值，IOU^(gt)是预测框和真实框的IOU，bijk是预测的confidence score.希望预测值逼近IOU。所以是一个平方损失函数.

image.png

2. classification loss

对于calss prediction适用的是binary crossencropy loss(也就是逻辑回归）
没有使用softmax多分类，作者也指出softmax最终对性能也没有提升，而且softmax假设是每个box只有一个类，这对迁移到更大有多种类别标签的数据集是没有好处的，所以作者使用多个逻辑回归来预测分类，使用二元交叉熵计算分类损失。