神经网络
2018-10-18 本文已影响55人
DestinyBaozi
神经元模型:
,其中为权值,为阈值
通过激活函数处理产生的输出(或)。
感知机:
感知机由两层神经元组成,输入层和输出层,感知机只有一层功能神经元,学习能力有限,只能学习线性可分的问题。
感知机学习算法:
训练函数:
训练集:,
若训练集数据错误则调整对应的和
调整方法:
假设的被误分,即,而调整后的,由此可得
同理,若被误分,可得,以一定的学习率可得
,为感知机输出值
若对调整:
假设的被误分,即,而调整后的,由此可得
即
多层网络:
标准误差逆传播算法(BP):
训练集:,
假设有个输入神经元,个输出神经元,个隐层神经元的多层前馈网络结构,其中输出层第个神经元的阈值用,隐层第个神经元的阈值用表示,,输入层第个神经元与隐层第个神经元之间的权值为,隐层第个神经元与输出层的个神经元之间的权值为,第个隐层神经元收到输入为,输出层第个神经元收到输入为
神经网络输出: 即
网络的均方差:
BP算法基于梯度下降策略,给定学习率有
,由于影响到和
其中,Sigmod函数性质:
有,类似可得:
,,
其中