caffe自学03

卷积神经网络（CNN，Convolutional Neural Network）

卷积层（Convolutional Layer）中最重要的概念之一：卷积运算

传统的卷积运算需要反转和平移，但是CNN中的卷积层中的卷积运算没有翻转，只是进行“滑动”，和相关运算更相似。

全连接层（DNN，Dense Neural Network）

全连接层中计算类型为矩阵-向量乘积。

两者对比：

卷积层：参数数量少，计算量大；

全连接层：参数多，计算量小；

（注：在计算加速优化时，重点应放在卷积层；进行参数优化、权值裁剪时，重点放在全连接层）

附：

深度神经网络中最大的问题：梯度消失。

产生原因（主要是在使用饱和激活函数时较明显）：使用Sigmoid、tanh函数时，神经网络进行误差反向传播时，各层都要乘以激活函数的一阶导数，梯度每传递一层就会衰减一次，这样的话，在网络层数较多时，梯度就会不停的衰减直至消失。导致的不良影响是：训练网络时收敛缓慢。

在使用ReLU激活函数（非饱和）则可加快收敛速度。