2020 深度学习 ResNet

ResNet

2014 年底接下出现 resNet 当时特别震惊，改变了大家对深度网络做的层数的限制，

<img src="images/../../images/kaiming.png">
在ResNet 做到了误差率 2.3 比人类的 5.1 还要低。从而 ImageNet 也退出历史舞台

<img src="../images/imagenet.jpg">

梯度消失

<img src="../images/resnet_001.png">
不是由过拟合而发生，是因为网络不畅通，因为网络太深造成前向信息传递过程衰减

梯度可以认为是模型信息量，梯度大小信息量，还差多少拟合数据，当卷积神经网 label 用于靠近输出层拟合，所以在接近输入的层梯度为 0 ，变宽不如变深效果，变宽平方增加，变深是线性增加，也就是简单函数来拟合(变深)

functin

resNet 是串联，输入可以跳过一些层快速来输出，梯度可以直接跳到前面，可以认为两个模型加载一起作为输出，也就是一个简单模型和一个复杂模型合起来做一件事，

加入 batchnormal

Residual 块(残差块)

• 提出了一种残差模块，通过堆叠残差模块可以避免信息丢失
• 解决反向传播的梯度消失问题
• 批归一化方法对抗梯度消失，从而降低网络训练过程对于权重初始化的依赖

<img src="../images/resnet_01.jpeg" width="60%">

• 前向传播
• 反向传播
  <img src="../images/resnet_005.png">
  在 VGG 中就是堆叠 3 x 3 的结构，运算效率，152 层，运行很慢，bottlenet 结构来减少运算量

介绍网络结构

<img src="../images/resnet_02.jpeg">

我们看 152 层

• 
• 最大化池化 重叠池化
• bottleNet 结构
• averagepool
• 全连接

残差网络性能结构

<img src="../imagee/../images/resnet_006.png">
残差网络可以看成集成模型，输入直接通过这个分支。这个网络可以，信息冗余所以很好结果，集成网络，随便去掉神经网不会影响卷积神经网的工作，而在 VGG

而前几层学习一些特征，而后几层学习另一些特征，所以残差网络是可以自由组合，

DenseNet

<img src="../images/densenet.jpeg">

加法变为合并操作，concate 深度增长很快，在 googleNet 加入 1 x 1 更改，这个在 Densenet 叫过渡块，

• 维度降低（深度包括宽度和长度）