由全连接层组成的网络，已经有了很强大的功能，可以表示出输入间的任意线性关系，但是在实际应用中，需要处理的数据不仅仅是简单二维数组，更多的是图片视频等。假设有一张512x512的图片，通过一个有8个神经元的隐藏层， 就有个参数需要计算（没有算上RGB通道）， 很显然这是不现实的。

1. 卷积

卷积运算在图片上可以实现边缘检测，也就是通过不同的卷积核提取出不同的边缘特征，这些合在一起就能够提取出一张图片里的主要特征，从而判断图片所属的类别（对于图片分类而言）。

卷积运算的过程，将卷积核与矩阵上对应位置的值相乘后的和，放在输出矩阵对应的位置，输出的矩阵也就是通过卷积得到的特征矩阵，不同的卷积核可以得到不同的特征输出。把不同的特征组合起来，就能得到输入图像的特征。
举个例子，有一个矩阵，与垂直边缘检测的卷积核做卷积，得到了

import numpy as np
from scipy import signal
import matplotlib.pyplot as plt

a = np.zeros((6,6))
a[:,:3] = 10

b =  np.array([1,0,-1],[1,0,-1],[1,0,-1])

c = signal.correlate2d(a,b, mode='valid')

plt.imshow(a,cmap='gray')
plt.imshow(b,cmap='gray')
plt.imshow(c,cmap='gray')

卷积图示

从图上可以看出，在矩阵对应的黑白图像中有一个垂直的边界，在与做卷积之后，得到了一个中间有值边缘为0的矩阵，也就是一个中间有一条白色的图，说明矩阵在中间的位置有一条垂直的边缘。这就是卷积能够提取特征的直观解释。（例子来自于吴恩达的视频：https://www.youtube.com/watch?v=XuD4C8vJzEQ， 代码自己写的）
顺便说一下在scipy.signal里有correlated2d和convolve2d。 correlated2d计算的是互相关（cross correlated），和直接手算的结果一样；convolve2d的结果会多一个负号。

2. 卷积神经网络

卷积神经网络主要包括了四个部分：

• 卷积层：特征提取
• 激活函数：提供非线性
• 池化层：减少参数的数量
• 最后的全连接层：分类

卷积层 就像上面所说的，将输入与卷积核进行运算，卷积核的大小一般有,在做卷积的时候，是同一个的卷积核遍历图片上的像素点，也就是在图片上一个地方重要的特征，在图片另一个地方同样也很重要，整个图片共享同样的权值。

Padding 在卷积运算的过程中，输出的尺寸往往会比输入小，比如假设输入大小，卷积核大小，输出大小，这种计算方式被称作Valid padding；如果想要输出和输入保持同样的大小，需要在输入矩阵周围加上一圈0，比如在刚刚的矩阵周围加上零，变成，那么输出的大小就是， 这种方式被称为Same padding。

Stride 注意到卷积相当于一个二维的滑动窗口在图片上移动，就像在一维信号上的滑动窗口，二维的卷积也可以有移动的步长，具体的网上有动图。通过设置步长，可以减小输出的大小。还有一种方式叫做Dilated Convolution，在卷积核里跳过一些像素点，目的是扩大接受野。

上面讲到的例子里的卷积都是在二维图片上进行的，但是彩色的图片一般都是RGB三通道的，也就是有三个维度，长、宽、通道 ， 假设现在我们有个卷积核，每个卷积核大小为，首先第一个卷积核与输入矩阵做卷积，得到一个的矩阵（假设用的same padding），然后与剩下的卷积核挨个做卷积，将所有卷积得到的个的薄片叠在一起，得到一个的新矩阵，这就是输出矩阵。

在多通道图片上的卷积
激活函数 一般用的都是ReLU。
池化层 目的是为了减少参数的数量，避免过拟合。通过卷积层可以提取出特征，但是并不是所有特征都是重要的，池化的思想就是提取出某一小块区域的主要特征传递给下一层。Max Pooling选取一个范围（），取其中的最大值作为输出矩阵对应位置的值，然后移动到下一个区域，是最常用的池化方法。Average Pooling是取区域内的均值。
全连接层 用于分类，但是可以被Global Average Pooling层代替，GAP可以减少参数，并且适用于任何大小的输入（论文 Network in Network）。

下一篇来写如何用python徒手实现CNN。