线性编码
2017-01-10 本文已影响49人
陈继科
线性编码的提出是基于这样一个问题
激活函数的输出是在一定范围内的,比如sigmoid函数输出在【0,1】
但是我们的原始输入不一定在【0,1】,例如利用PCA我们的输入在0为均值一定方差的分布上。
所以这时我们把最后一层激活函数使用f(z) = z
则此时结果的输出就有可能和输入对应。因为这个激活函数是线性的,所以我们称其为线性编码。
注意除了最后输出层前面的层都为非线性激活函数(sigmoid、tanh、ReLU等等)
利用线性编码我们不必将所有输入归一化到一定的范围内。