RBM受限玻尔兹曼机详解

RBM

rbm是浅层的神经网络，只有两层，第一层是visible可见层，第二层是隐藏层。

不同层之间有连接，同一层之间没有连接。

如下图，输入的内容通过可见层，隐藏层，经过激活函数输出结果。

activation f((weight w * input x) + bias b ) = output a

当把不同的输入在一个隐藏节点合并，每个X有一个单独的weight.

由于每个可见层都连接隐藏层，所以RBM可以定义为对称二分图。

对称意味着每个可见节点都连接隐藏节点。

如下入，每个隐藏层都连接4个输入节点，加上bias，结果通过激活函数。

重构 BP

在重构阶段，隐藏层变层的输出作为反向传播的输入，输入与相同的权值相乘，再加上可见层的bias，输出的结果的操作称为重构。

由于rbm的权重w是随机初始化的，重构和原始的输入差异很大。重构的结果r 与input value差异很大，通过迭代减少误差。

Forward 给定weighted, x 的概率p(a|x; w)

Backforward 给定weighted, a的概率p(x|a; w)

测量估计的概率和实际的概率分布使用KL散度来衡量。

rbm中有两个bias ，一个是forward中隐藏层的bias ，另一个是backward 可见层的bias。