CNN
本文将从以下几个方面介绍CNN：
1.CNN的产生背景
CNN是卷积神经网络的简称，它是将人类观察事物的规律特点用于算法，解决图片识别问题的一种神经网络算法。
2.CNN的特点
CNN有如下几个特点：
2.1.卷积层参数共享
在卷积层中的每个神经元所连接的数据窗的权重是固定的，每个神经元只观察一个特征，神经元就是图像处理的滤波器。
2.2.局部感受野
3.CNN的网络模型
卷积神经网络包括如下几个模块：卷积层、激活函数、池化层、全连接层、损失函数。主要用途有两个，特征提取和决策推断。
3.1.卷积层
卷积的作用是特征提取，因为一次卷积可能提取的特征比较粗糙，所以多次卷积，以及层层纵深卷积，层层提取特征（层层卷积不等于同一层多次卷积）。为什么要层层卷积，每层还要多次卷积呢？这里我们以相亲为例，假设我们第一次见到相亲对象，看第一眼，先看到对方的眼睛，发现细长有神；再看对方的眉毛，发现长长的；再看对方的鼻子，整体顺眼，没有鹰钩鼻之类的不好鼻型；好，本层多次卷积特征提取完毕。然后边聊天边喝咖啡，又注意到对方的嘴巴也很性感；说话声音也很富有磁性性感；又观察到对方今天有刮胡子；好，第二层的多次卷积特征提取完毕，然后对方不经意撩了下自己的头发，又观察到对方的头发长短适中，和自己的爱豆一样的发型，好，第三层的卷积特征提取完毕。然后得出结论，对方的外形符合自己的理想。总结下，人类在有限的视野范围内不可能一次将事物的特征完全提取，所以需要多次层层提取，然后得出结论。卷积神经网络正是利用人类的这一特点，进行特征提取和进一步的决策推断。
3.2.激活函数
Relu激活函数，激活函数的作用是将线性分布转化为非线性分布，更逼近我们的真实场景。之所以使用 Relu激活函数，而不是tan或者sigmod函数的激活函数，是因为这两种函数都无法解决梯度消失的问题。梯度消失问题详见：https://zhuanlan.zhihu.com/p/76772734，所以这里我们使用Relu激活函数。
上图均为盗图。
3.3.池化层
池化层的作用是：减少输入矩阵的大小；提取主要特征，它的目的就说在后续操作时能降低运算。
3.4.全连接层
全连接层的作用：分类器角色，将特征映射到样本标记空间，本质是矩阵变换(affine)
3.5.损失函数
作用：计算损失函数，从而求出梯度grad。
其中是要计算的类别 i 的网络输出，分母是网络输出所有类别之和（共有k个类别），
表示第 i 类的概率。
交叉熵损失：
其中，是类别 i 的真实标签，
表示第 i 类的概率，N是样本总数，k是类别数。
我们知道信息熵反应了事物的不确定性，这里损失函数的J值越大反应了事物分类属于哪类的不确定性越大。
3.6.前向传播法
前向传播包含卷积、激活函数、池化层、全连接层。主要是权重参数 w，b 的初始化，以及更新 w，b ,生成
分类器模型。
3.7.反向传播法
反向传播法主要是利用损失函数的梯度下降法，反向计算dw，db的 值，激活函数逆变换，反池化，反全连接。
3.8. 梯度下降
作用，梯度下降法用来计算新的参数矩阵 w 。
sgd公式为：,
，其中
其中，η为学习率，gt为x在t时刻的梯度。
3.9. 算法的超参数说明
一般我们是将整个数据集分成n个epoch，每个epoch再分成m个batch，每次更新都利用一个batch的数据，而非整个训练集。
优点：batch的方法可以减少机器的压力，并且可以更快地收敛。
缺点：其更新方向完全依赖于当前的batch，因而其更新十分不稳定。
4.CNN的算法
上图来自大神的图，做的很nice。本处只放图不说话...
5.CNN的应用场景
卷积神经网络的主要用途有两大类，数据预测和图片处理。图片处理主要包含有图像分类，检测，识别，以及分割方面的应用。
图像分类：场景分类，目标分类
图像检测：显著性检测，物体检测，语义检测等
图像识别：人脸识别，字符识别，车牌识别，行为识别，步态识别等等。
图像分割：前景分割，语义分割。
7.参考文献
