34-卷积神经网络(Conv)
深度学习网络和普通神经网络的区别
深度学习与神经网络的区别
卷积神经网络
基础
全连接神经网络的缺点
- 参数太多，在cifar-10的数据集中，只有32*32*3，就会有这么多权重，如果说更大的图片，比如200*200*3就需要120000多个，这完全是浪费
- 没有利用像素之间位置信息，对于图像识别任务来说，每个像素与周围的像素都是联系比较紧密的。
- 层数限制
卷积神经网络的错误率
卷积神经网络的错误率
卷积神经网络的发展历程
卷积神经网络的发展
卷积神经网络的结构
卷积神经网络的结构
结构特点：
神经网络(neural networks)的基本组成包括输入层、隐藏层、输出层。而卷积神经网络的特点在于隐藏层分为卷积层和池化层(pooling layer，又叫下采样层)。
- 卷积层：通过在原始图像上平移来提取特征，每一个特征就是一个特征映射
-
池化层：通过特征后稀疏参数来减少学习的参数，降低网络的复杂度，（最大池化和平均池化）
卷积神经网络的数据变化
卷积层
卷积过程
卷积的过程
纠正：卷积层的过滤器，就是一个矩阵，里面的元素是对应扫描时每个像素点的权重
卷积层的计算过程
即：每个过滤器会产生一张feature map
0填充的两种方式
卷积核在提取特征映射时的动作称之为padding（零填充），由于移动步长不一定能整出整张图的像素宽度。其中有两种方式，SAME和VALID
- SAME：越过边缘取样，取样的面积和输入图像的像素宽度一致。
- VALID：不越过边缘取样，取样的面积小于输入人的图像的像素宽度
彩色图片的卷积过程
由于彩色图片有3个通道，即3张表，所以filter需要分3次去分别观察，每次观察的结果直接相加作为最后的结果
彩色图片的观察
过滤器的个数
有几个过滤器，就会生成几张表。eg：
对于[28, 28, 1]的图片，如果有32个过滤器，就会卷积的结果就为[28, 28, 32]，相当于图片被“拉长”了
观察结果大小的计算
面试可能考
观察结果的计算
注意：如果计算结果出现小数，需要结合情况具体考虑，而不是说直接四舍五入
卷积的api
"""
tf.nn.conv2d(input, filter, strides=, padding=, name=None)
计算给定4-D input和filter张量的2维卷积
input：给定的输入张量，具有[batch,heigth,width,
channel]，类型为float32,64
filter：指定过滤器的大小，[filter_height, filter_width,
in_channels, out_channels]。输入通道：图片的通道数；输出通道：过滤器个数（即输出有多少张结论）
strides：strides = [1, stride, stride, 1],步长，步长过大容易造成信息的遗漏
padding：“SAME”, “VALID”，使用的填充算法的类型，
使用“SAME”。其中”VALID”表示滑动超出部分舍弃，
“SAME”表示填充，使得变化后height,width一样大
"""
激活层
在卷积神经网络中，主要使用Relu函数作为激活函数
Relu函数
即在这里使用relu函数去掉了像素中小于0的值
神经网络中为什么要使用激活函数
- 增加激活函数就是增加神经网络非线性分割的能力
为什么使用relu而不再使用sigmoid函数？
- 采用sigmoid等函数，反向传播求误差梯度时，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多
- 对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（求不出权重和偏置）（因为有次方运算）
api
"""
tf.nn.relu(features, name=None)
features:卷积后加上偏置的结果
return:结果
"""
卷积就是进行特征的提取，观察更加仔细，然而，观察仔细就意味着数据多，运算量增加，这就需要使用池化层以减少计算量
池化层
Pooling层主要的作用是特征提取，通过去掉Feature Map中不重要的样本，进一步减少参数数量。Pooling的方法很多，最常用的是Max Pooling。
池化层也有一个窗口大小（过滤器）
池化过程
即：池化过程让图片变得更“窄”
即：卷积层使得图片变长，池化层使得图片变窄，所以经过卷积，图片越来越“细长”
api
"""
tf.nn.max_pool(value, ksize=, strides=, padding=,name=None)
输入上执行最大池数
value:4-D Tensor形状[batch, height, width, channels]
ksize:池化窗口大小，[1, ksize, ksize, 1]
strides:步长大小，[1,strides,strides,1]
padding:“SAME”, “VALID”，使用的填充算法的类型，
使用“SAME”
"""
池化中SAME的计算方式与卷积过程中SAME的计算方式一样。eg：
[None, 28, 28, 32]的数据，经过2x2，步长为2，padding为SAME的池化，变成了[None, 14, 14, 32]
全连接层
分析：前面的卷积和池化相当于做特征工程，后面的全连接相当于做特征加权。最后的全连接层在整个卷积神经网络中起到“分类器”的作用。
所以神经网络也相当于是一个特征选择的方式
