常见的基础网络模型
2018-12-12 本文已影响0人
YANWeichuan
| 模型 | 特点 | 解决的问题 |
|---|---|---|
| LeNet | LeNet 分为卷积层块和全连接层块两个部分 | 奠基性的工作第一次 将卷积神经网络推上舞台，为世人所知 |
| AlexNet | 第一，与相对较小的 LeNet 相比，AlexNet 包含 8 层变换，其中有五层卷积和两层全连接隐含层，以及一个全连接输出层; 第二，AlextNet 将 sigmoid 激活函数改成了更加简单的 ReLU 激活函数; 第三，AlextNet 通过丢弃法来控制全连接层的模型复杂度; 第四，AlextNet 引入了大量的图像增广，例如翻转、裁剪和颜色变化，从而进一步扩大数据集来 缓解过拟合 |
在利用数据和硬件的基础上，增加的网络的深度，取得了显著的效果。 首次证明了学习到的特征可以超越手工设计的特征 |
| VGG | VGG 提 出了可以通过重复使用简单的基础块来构建深度模型的思路;网络使用了 8 个 卷积层和 3 个全连接层，所以经常被称为 VGG-11 | VGG 提 出了可以通过重复使用简单的基础块来构建深度模型的思路 |
| NiN | NiN 使 用 1 × 1 卷积层来替代全连接层，从而使空间信息能够自然传递到后面的层中去 | 它提出了 另外一个思路，即串联多个由卷积层和“全连接”层构成的小网络来构建一个深层网络 |
| GoogLeNet | GoogLeNet 中的基础卷积块叫做 Inception 块，增加了并行 | |
| ResNet | 残差映射在实际中往往更容易优化 | 效地降 低训练误差 |
| DenseNet | ResNet与 DenseNet在跨层连接上的主要区别:使用相加和使用连结 | 模型参数比 ResNet 的更小 |
