深度理解反卷积操作
2018-07-13 本文已影响0人
影醉阏轩窗
今天记录以下卷积和反卷积,在很久之前图像处理时候我们就学过卷积,也知道卷积操作方式,更知道怎么推导和反向传播~~但是今天我们要说得和之前理解的可能不太一样......
1.卷积
首先我们看以下卷积的含义:
原作者.gif
卷积基础这里不再进行说明~~有基础的秒懂
现在来点不一样的:
原作者
以下是知乎大神给的翻译版本,翻译的很好~
参数定义如下:
- 4x4的输入，卷积Kernel为3x3, 没有Padding / Stride, 则输出为2x2。
- 输入矩阵可展开为16维向量，记作
x输出矩阵可展开为4维向量，记作y- 卷积运算可表示为
y = Cx
那么权重可以定义如下:
权重定义
我们现在换一种定义,把权重W定义为稀疏矩阵:
权重特殊定义
假设Input输入为:
Input
对应稀疏权重把Input转化为:
input转化
有木有发现结果一样的?
结果
2.反卷积
其中上采样有很多种叫法,反卷积/上采样/转置矩阵......在这里我们不去讨论,接下来的推导你会发现叫什么合适~~
我们来想一个问题:
矩阵的正向传播是直接卷积,那么反向传播呢?
是不是得通过求
偏导数求回去?
反向传播
image
image
由以上的推导我们可以发现,其实我们所说的反卷积就是反向的推导回去,现在可以暂时这么理解哈~~
反卷积的直观解释:
直观解释
手写解释
3.反卷积扩展
以下是根据CS231的课程理解编写的
第一种上采样:
第一种扩展
第二种上采样:
第二种解释
第三种上采样:
第三种解释
第四种上采样:
- 就是作者用的反卷积~~
- 有木有发现上面三种都是固定的,不能够训练?最后一种是可以训练权重的,但是作者没有训练~~原因是训练的效果不好.
第四种解释
4.参考资料
