概述
2017-04-23 本文已影响0人
程序猿爱打DOTA
多层感知机（神经网络）
输入层——隐藏层——输出层
DNN“具有深度”
在语音识别中4层网络就能够被认为是“较深的”，而在图像识别中20层以上的网络屡见不鲜。
单从结构上来说，全连接的DNN和多层感知机没有任何区别
为了克服梯度消失，ReLu,maxout等传输函数代替了sigmoid，形成了如今DNN的基本形式
CNN卷积神经网络
解决DNN带来的参数爆炸问题
限制参数个数，挖掘局部特征，防止过拟合
RNN循环神经网络
解决DNN无法对时间序列上的变化进行建模的问题
在RNN中，神经元的输出可以在下一个时间戳直接作为到自身
长短时记忆单元LSTM，通过们的开关实现时间上记忆功能，并防止梯度消失
