机器学习与深度学习

归一化的重要性实验

2019-06-01  本文已影响0人  LCG22

实验条件:

模型:线性回归

数据:x 为 [0, n] 加上随机数,y 为 [100, n+100]

w 初始化值:0.1

b 初始化值:-0.4

对比指标:w 和 b

1、未归一化

x:[0.6504761111286659, 1.4679718389754555, 2.6784720347616546, 3.953296220040032, ...]

y:[100.0, 101.0, 102.0, 103.0, 104.0, 105.0, 106.0, 107.0, 108.0, ...]

W: nan

b: nan

2、归一化后

x:[0.008199465307034054, 0.01941436298647198, 0.02372111377049773, 0.03254903844044677, ...]

y:[1.0, 1.01, 1.02, 1.03, 1.04, 1.05, 1.06, 1.07, 1.08, 1.09, 1.1, 1.11, ...]

W: 1.0020390748977661

b: 0.9938741326332092

由此可见,不经过归一化,由于梯度爆炸的问题,导致模型失去了学习能力。

而经过归一化后,可以有效避免梯度爆炸,所以模型学习出来了比较好的 w 和 b

上一篇 下一篇

猜你喜欢

热点阅读