一、池化层（Pooling Layer）

---

• 池化运算：对信号进行“收集”并“总结”，类似水池收集水资源，因而得名池化层。
• 在尽可能保留图片空间信息的前提下，降低图片的尺寸，增大卷积核感受野，提取高层特征，同时减少网络参数量，预防过拟合。

• 其具体操作与卷积层的操作基本相同，只不过下采样的卷积核为只取对应位置的最大值、平均值等（最大池化、平均池化），即矩阵之间的运算规律不一样，并且不经过反向传播的修改。

  
  

nn.MaxPool2d

---

nn.AvgPool2d

---

二、线性层

---

• 线性层又称全连接层，其每个神经元与上层所有神经元相连，实现对前一层的线性组合，线性变换

  
  
  

三、激活函数层（Activation Layer）

---

• 在全连接网络每一层之间通常会引入激活函数层，激活函数层赋予了神经网络深度的意义。因为如果没有激活函数层，多层的全连接网络本质上与一层全连接网络是等价的。

1、nn.Sigmoid

---

2、nn.tanh

---

3、nn.ReLu

---