Hopfield神经网络

2020-08-12 本文已影响0人每天学习135个小时

Hopfield网络

基本概念与功能

Hopfield Network：单层，全连接的循环神经网络。(single layer & fully connected RNN)

associative memory，记忆且复原pattern.

每个神经元（neuron）只有两种状态， $1$ 和 $-1$ ，即
$\mathrm{neuron}_i\in \{1,-1\}$
神经元m，n之间的连接强度 $w_{m,n}=w_{n,m}$ , 且 $w_{n,n}=0$ .
$neuron_i=\begin{cases}1, &\sum\limits_j w_{ij}n_j+bias_i\leq0\\-1, &\text{otherwise}\end{cases}$

$w_{n,m}>0$ 称为激活的(excitatory)
$w_{n,m}>0$ 称为抑制的(inhibitory)

synchronous update 一次性计算且更新所有neuron值
asynchronous update 一次性计算且更新一个neuron值

能量函数

（Lyapunov function / Energy function）
$E=-\frac12\sum\limits_i\sum\limits_j w_{ij}n_in_j - \sum\limits_i bias_in_i$
在asynchronous情况下，E的值逐渐减少，直到稳定。网络总是收敛的，且收敛于 $E$ 的局部极小值。

该优化问题中的目标函数是能量函数 $E$ . 算法的目标是求出 $w_{m,n}$ .

参考资料

神经网络(ANN) 超简指南霍普菲尔德网络 Hopfield Network https://www.bilibili.com/video/BV1K54y1q7rj

Hopfield神经网络

Hopfield网络

基本概念与功能

能量函数

猜你喜欢

热点阅读