2018-12-20神经网络随机初始化

随机初始化

将所有θ权重初始化为零不适用于神经网络。 

初始化为零  

具体来说，以上问题叫做对称现象。所以，初始化也被称作打破对称。所以我们进行初始化的操作目的就是打破对称，而初始区间就是在特定范围内是一种我们用的标记。 所以，权值参数 将会在这个范围内生成。

当我们反向传播时，所有节点将重复更新为相同的值。 相反，我们可以使用以下方法随机初始化\ThetaΘ矩阵的权重：

随机初始化，打破对称

（注意：上面使用的epsilon与Gradient Checking中的epsilon无关）