pytorch【模型模块】四、nn网络层：池化层-线性层-激活函
2020-02-19 本文已影响0人
米线织毛衣
一、池化层
最大值池化和平均池化（池化可用于冗余信息的剔除，以及减少计算量）
1、最大池化nn.MaxPool2d
用于记录最大值像素所在位置的索引，在最大值反池化上采样的时候使用（把对应的像素值放在对应的位置上）。
2、平均池化nn.AvgPool2d
divisor_override是除法因子，比如它为10时，即使我们用的2*2的池化窗口，平均时，也不是除以4，而是除以10。
3、最大值反池化nn.MaxUnpool2d
二、线性层
上图省略了偏置。
三、激活函数层
如果没有激活函数层，多个线性层叠加和一个线性层就没有区别：
1、sigmoid函数
2、tanh函数
3、ReLU函数(ReLU：修正线性单元)
ReLU的改进：
