9、目标检测之YOLO 算法

YOLO 算法（Putting it together: YOLO algorithm）

你们已经学到对象检测算法的大部分组件了，在这个笔记里，我们会把所有组件组装在一起构成YOLO对象检测算法。

9.1 anchor box取特征图

我们先看看如何构造你的训练集，假设你要训练一个算法去检测三种对象，行人、汽车和摩托车，你还需要显式指定完整的背景类别。

这里有3个类别标签，如果你要用两个anchor box，那么输出 y 就是3×3×2×8，其中3×3表示3×3个网格，2是anchor box的数量，8是向量维度，8实际上先是5（p_c,b_x,b_y,b_h,b_w）再加上类别的数量（c_1,c_2,c_3）。你可以将它看成是3×3×2×8，或者3×3×16。要构造训练集，你需要遍历9个格子，然后构成对应的目标向量y。

所以先看看第一个格子（编号1），里面没什么有价值的东西，行人、车子和摩托车，三个类别都没有出现在左上格子中，所以对应那个格子目标y就是这样的，

第一个anchor box的 p_c 是0，因为没什么和第一个anchor box有关的，第二个anchor box的 p_c 也是0，剩下这些值是don’t care-s。

现在网格中大多数格子都是空的，但那里的格子（绿色框的那个编号2）会有这个目标向量y，

所以假设你的训练集中，对于车子有这样一个边界框，水平方向更长一点。假设anchor box 1，anchor box 2，然后红框和anchor box 2的交并比更高，那么车子就和向量的下半部分相关（上图的绿色框对应的向量）。

要注意，这里和anchor box 1有关的 p_c 是0，剩下这些分量都是don’t care-s，然后你的第二个 p_c=1，然后你要用这些（b_x,b_y,b_h,b_w）来指定红边界框的位置，然后指定它的正确类别是2(c_1=0,c_2=1,c_3=0)，对吧，这是一辆汽车。

所以你这样遍历9个格子，遍历3×3网格的所有位置，你会得到这样一个向量，得到一个16维向量，所以最终输出尺寸就是3×3×16。

和之前一样，简单起见，我在这里用的是3×3网格，实践中用的可能是19×19×16，或者需要用到更多的anchor box，可能是19×19×5×8，即19×19×40，用了5个anchor box。这就是训练集，然后你训练一个卷积网络，输入是图片，可能是100×100×3，然后你的卷积网络最后输出尺寸是，在我们例子中是3×3×16或者3×3×2×8。

接下来我们看看你的算法是怎样做出预测的？

输入图像，你的神经网络的输出尺寸是这个3××3×2×8，对于9个格子，每个都有对应的向量。对于左上的格子（编号1），那里没有任何对象，那么我们希望你的神经网络在那里（第一个p_c）输出的是0，这里（第二个p_c）是0，然后我们输出一些值，你的神经网络不能输出问号，不能输出don’t care-s，剩下的我输入一些数字，但这些数字基本上会被忽略，因为神经网络告诉你，那里没有任何东西，所以输出是不是对应一个类别的边界框无关紧要，所以基本上是一组数字，多多少少都是噪音（输出 y 如编号3所示）。

和这里的边界框不大一样，希望y的值，那个左下格子（编号2）的输出y（编号4所示），形式是，对于边界框1来说（p_c）是0，然后就是一组数字，就是噪音（anchor box 1对应行人，此格子中无行人，p_c=0,b_x=?,b_y=?,b_h=?,b_w=?,c_1=?c_2=?,c_3=?）。

希望你的算法能输出一些数字，可以对车子指定一个相当准确的边界框（anchor box 2对应汽车，此格子中有车，p_c=1,b_x,b_y,b_h,b_w,c_1=0,c_2=1,c_3=0），这就是神经网络做出预测的过程。

9.2 非极大值抑制

最后你要运行一下这个非极大值抑制，为了让内容更有趣一些，我们看看一张新的测试图像，这就是运行非极大值抑制的过程。如果你使用两个anchor box，那么对于9个格子中任何一个都会有两个预测的边界框，其中一个的概率p_c很低。但9个格子中，每个都有两个预测的边界框，比如说我们得到的边界框是是这样的，注意有一些边界框可以超出所在格子的高度和宽度（编号1所示）。

接下来你抛弃概率很低的预测，去掉这些连神经网络，这里很可能什么都没有，所以你需要抛弃这些（编号2所示）。

最后，如果你有三个对象检测类别，你希望检测行人，汽车和摩托车，那么你要做的是，对于每个类别单独运行非极大值抑制，处理预测结果所属类别的边界框，用非极大值抑制来处理行人类别，用非极大值抑制处理车子类别，然后对摩托车类别进行非极大值抑制，运行三次来得到最终的预测结果。所以算法的输出最好能够检测出图像里所有的车子，还有所有的行人（编号3所示）。

这就是YOLO对象检测算法，这实际上是最有效的对象检测算法之一，包含了整个计算机视觉对象检测领域文献中很多最精妙的思路。

注1：bounding box是怎么来的呢？其实是在检测每个grid cell时，若检测到目标，则会将其标出来(图中的红色框)。这就是bounding box。

注2：设置多个anchor boxes干嘛呢？ 是这样的，当有目标时，还要计算对象真实的边框分别与各个anchor boxes的IOU(交并比函数)，并选择IOU最大的那个anchor box。这样的话，bounding box的位置参数就保存在那个anchor box对应的(Pc,bx,by,bh,bw,c1,c2,c3)中啦。

9.3 yolov1

在YOLO算法中把物体检测（object detection）问题处理成回归问题，用一个卷积神经网络结构就可以从输入图像直接预测bounding box和类别概率。

算法首先把输入图像划分成S×S的格子，然后对每个格子都预测B个bounding boxes，每个bounding box都包含5个预测值：x,y,w,h和confidence。
x，y就是bounding box的中心坐标，与grid cell对齐（即相对于当前grid cell的偏移值），使得范围变成0到1；
w，h进行归一化（分别除以图像的w和h，这样最后的w和h就在0到1范围）。
confidence代表了所预测的box中含有object的置信度和这个box预测的有多准两重信息：

换句话说，如果ground truth落在这个grid cell里，那么Pr（Object)就取1，否则就是0，IOU就是bounding box与实际的groud truth之间的交并比。所以confidence就是这两者的乘积。

损失函数设计：

loss function

在loss function中，前面两行表示localization error(即坐标误差)，第一行是box中心坐标(x,y)的预测，第二行为宽和高的预测。这里注意用宽和高的开根号代替原来的宽和高，这样做主要是因为相同的宽和高误差对于小的目标精度影响比大的目标要大。

第三、四行表示bounding box的confidence损失，就像前面所说的，分成grid cell包含与不包含object两种情况。这里注意下因为每个grid cell包含两个bounding box，所以只有当ground truth 和该网格中的某个bounding box的IOU值最大的时候，才计算这项。

第五行表示预测类别的误差，注意前面的系数只有在grid cell包含object的时候才为1。

9.4 总结

总结一下Yolo的优缺点

首先是优点，Yolo采用一个CNN网络来实现检测，是单管道策略，其训练与预测都是end-to-end，所以Yolo算法比较简洁且速度快。第二点由于Yolo是对整张图片做卷积，所以其在检测目标有更大的视野，它不容易对背景误判。另外，Yolo的泛化能力强，在做迁移时，模型鲁棒性高。

Yolo的缺点，首先Yolo各个单元格仅仅预测两个边界框，而且属于一个类别。对于小物体，Yolo的表现会不如人意。这方面的改进可以看SSD，其采用多尺度单元格。也可以看Faster R-CNN，其采用了anchor boxes。Yolo对于在物体的宽高比方面泛化率低，就是无法定位不寻常比例的物体。当然Yolo的定位不准确也是很大的问题。

参考：
吴恩达目标检测Yolo入门讲解