深度学习与图像识别46 卷积神经网络 ResNet

1.Wide ResNet

Wide ResNet为Zagoruyko等人于2016年提出，其认为残差结构比深度更重要。他们设计了更宽的残差模块（如图2所示），实验证明50层的加宽残差网络效果比152层的原ResNet网络效果更好。

2.ResNeXT

ResNeXT由Xie等人于2016年提出，与Wide ResNet不同，ResNeXT在ResNet的基础上通过加宽inception个数的方式来扩展残差模块，它减少了传统 ResNet 所需的超参数数量。这是通过使用“基数”来实现的，这是在ResNet的宽度和深度之上的一个附加维度。基数定义转换集的大小。如图3所示。

图2 加宽的残差网络模块

图3 ResNeXT网络模块

3.DenseNet

DenseNet由Huang等人于2017年提出，网络模块如图4所示。在DenseNet中，每一层都与其他层相关联，这样的设计也大大缓解了“梯度消失”的问题。

DenseNet模型，它的基本思路与ResNet一致，但是它建立的是前面所有层与后面层的密集连接（dense

connection），它的名称也是由此而来。DenseNet的另一大特色是通过特征在channel上的连接来实现特征重用（feature

reuse）。这些特点让DenseNet在参数和计算成本更少的情形下实现比ResNet更优的性能。

图4　DenseNet核心网络结构