CNN基本算子与操作

卷积神经网络（Convolutional Neural Networks，CNN）是一种前馈神经网络。卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。感受野主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。比如在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。

卷积神经网络有三个结构上的特性：局部连接，权重共享以及空间或时间上的次采样。详细介绍请见卷积神经网络

1、卷积层  详情参考卷积层（Convolution Layer）

2、全连接层 详情参考全连接层 （Connected Layer） 作用：降维

3、Softmax Layer 详情参考 Softmax Layer

4、CNN池化

      最大值池化 详情参考最大池化层（Maxpool Layer）

      平局值池化 详情参考平均值池化

      Golbal Average Pooling 详情参考Golbal Average Pooling

      Spatial Pyramid Pooling 详情参考Spatial Pyramid Pooling

5、dropout layer：目的是为了防止CNN 过拟合，主要用于训练过程，推理过程不需要 详情参考Dropout Layer

6、激活函数 ：线性激活函数与非线性激活函数

     非线性激活函数，可以使神经网络随意逼近复杂函数：Sigmoid、Tanh、ReLU

      Sigmoid：详情参考Sigmoid

      ReLU：详情参考ReLU

      Tanh：详情参考Tanh

7、loss函数

8、梯度下降