多层感知机/器-MLP

MLP，Multilayer Perceptron，是一种前向/馈结构的ANN，input vector => output vector，是一个映射/函数。
MLP可被看作是一个有向图，由多个节点层组成，每一层都全连接到下一层。
除了输入层，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。

构造输入输出对，以监督学习的方式训练MLP，通过BP算法反向传播误差信号，链式求导，得到loss关于各个模型参数的梯度。

MLP是感知器（单层NN）的推广，使得可以划分线性不可分的样本。
MLP通过激活函数引入非线性，而SVM通过将输入空间映射到高维空间，使得样本线性可分 => 解决线性不可分的问题。
more in 关于线性模型。

若隐藏层神经元的激活函数都是线性函数，则任意层数的MLP都可被约简为一个等价的感知器（输入层+输出层，输入层不视作标准的一层，即单层NN），即依然是一个线性映射。
为了能够使用反向传播算法链式求导，激活函数必须为可微函数，常用S型函数，例如双曲正切函数tanh和 sigmoid函数等，现在多用ReLU，训练更为快速。

MLP是一种函数近似方法，即NN是函数近似机，可以拟合任意复杂函数。
MLP，80年代相当流行 => 90年代遇冷（更为简单的SVM）=> 2012年，AlexNet，NN复兴。