神经网络（多层感知机）2019-03-03

2019-03-03 本文已影响0人 lijunmn

神经网络（Neural Networks）系统是由神经元组成的网络系统。多层神经网路（MLP(Multi-Layer Perceptron)）是一种神经网络，也称为深度神经网络(DNN - Deep Neural Networks)

感应机

感知机算法PLA( Perceptron Learning Algorithm ) 可以通过一个神经元结构来描述的话，可以是一个多输入的神经元结构。

感知机结构

如图所示，它包含n个输入，w表示权重，b表示偏置值。f 可以看做传输函数。
LaTeX编辑数学公式基本语法元素
$wx+b=u$
$u=\sum_{i=0}^mw_ix_i+b$
$y=f(u)$

多层感知机

多层感知机结构如图所示，它是由一个输入层多个隐藏层组成，每个层含有多个神经元结构。同层之间的神经元无连接，不同层的神经元之间存在全连接的关系。

多层感知机

符号表示： $a^0$ 表示输入， $a^i$ 表示第i个隐藏层的输入， $z^i$ 是第i-1层的输出。 $W^i$ 表示第 i-1 到第 i 层之间的权重。

多层感知机的算法表示
$z^{(l)}=W^{(l)}\cdot a^{l-1}+b^l$
$a^{l}=f_l(z^l)$

输入样本 $x^{(i)}$ 的损失函数
$J(W,b,x^{(i)},y^{(i)})$
平均损失
$\frac{1}{N}\sum_{i=1}^nJ(W,b,x^{(i)},y{(i)})$
学习目标：调整神经元连接的权重值，使得平均误差最小