有监督的Hebb学习

2018-12-18 本文已影响0人川人1588

定义

当神经细胞A的轴突足够接近到能够激发神经细胞B，且反复或持续的刺激细胞B，那么A或B中一个或者两个细胞将会产生某种增长过程或代谢变化，从而增强细胞A对细胞B的刺激效果。

线性联想起

a=Wp 或则 $a_i=\sum_{j=1}^Rw_{ij}p_{j}$ ，如果输入向量发生微小变化，则输出变量也只会发生微小变化。其中矩阵W为两个细胞之间的连接。

Hebb规则

如果轴突两侧的两个神经元同时被激活，那么轴突的强度将会增加，也就是如果一个正输入 $p_j$ 能够产生一个正输入 $a_i$ ，则相应 $w_{ij}$ 就应该增加。该假设的数学公司为：
$w_{ij}^{new}=w_{ij}^{old}+\alpha f_i(a_{iq})g_j(p_{jq})$
公式中 $a_{iq}$ 为第q个输入向量输出的第i个元素， $p_{jq}$ 为第q个输入向量的第j个元素。
设 $\alpha=1$ ， $w_{ij}^{new}=w_{ij}^{old}+a_{iq}p_{jq}$ ，设初值为0，则:
$w_{ij}=\sum_{q=1}^Qa_{iq}p_{jq}$ ,记作向量形式
$W=TP^T$

有监督的Hebb学习

定义

线性联想起

Hebb规则

猜你喜欢

热点阅读