2020 经典卷积神经网 AlexNet

2020-09-27 本文已影响0人 zidea

MachineLearninginMarketing

虽然 AlexNet 今天人们不会在采用或借鉴 AlexNet 来设计网络来，不过无疑是 AlexNet 出现，在次掀起神经网络的热度。AlexNet 是 2012年 ImageNet竞赛冠军获得者 Hinton 和他的学生 Alex Krizhevsky 设计的。

那么 AlexNet 都带来了什么，

alexnet_001.jpeg

提出了一种卷积层加全连接层的卷积神经网络结构
首次使用 ReLU 函数作为神经网络的激活函数，并验证 ReLU 效果在较深的网络超过了Sigmoid，通过使用 ReLU 解决了 Sigmoid 在网络较深时的梯度弥散问题。

relu.jpeg

统计层数仅考虑卷积和全连接层 8 层

在搭建卷积神经网或者其他神经网时候，我们通常会将一些重复出现结构定义为块，这里便于说明 AlexNet 神经网的结构，我们将卷积、Relu、池化层以及batch normalization 组成看成一个块结构

根据 AlexNet 网络结构特点我们将其划分为 4 块

区分	tensor 形状
输入	$227 \times 227 \times 3$
输出	$27 \times 27 \times 96$

然后经过卷积核

卷积核大小	卷积核个数	步长
$11\times11$	96	4

计算经过卷积后输出特征响应图大小 $\frac{227 -11}{4 + 1} = 55$ ，所以最终输出 $55 \times 55 \times 96$ 的特征响应图
该层卷积核参数量 $(11\times11\times3 + 1) \times 96$
特征图每个元素经过 ReLU 函数操作后输出
$\frac{55 -3}{2+1} = 27$ 池化层没有参数
经过一个卷积核大小为 $3 \times 3$ 步长为 2 的池化层后特征图大小减半 $27 \times 27 \times 96$ 输出 tensor 深度与卷积核个数相同

这里我们在来一起推导卷积块输入和输出 tensor 的形状

区分	tensor 形状
输入	$27 \times 27 \times 96$
输出	$13 \times 13 \times 256$

输入 $27 \times 27 \times 96$ tensor
卷积 $\frac{27 - 5 + 2\times2}{1+1} = 27$ ，这一层做了填充所以在做完卷积后特征图大小不会改变，这一层卷积相当看到看到 $50 \times 50$ 视野
经过池化层 $\frac{27 - 3}{2+1} = 13$ ，那么最后经过这一层后输出为 $13 \times 13 \times 256$ tensor