3blue1brown-Neuron Network

此文记录看3blue1brown-Neuron Network重点：

1.gradient descent:

theta:=theta-alpha*(slope)

若slope负的，需要increase

若slope正的，需要decrease

绝对值大小，表示adjust的程度

2.paper-a closer look at memorization in deep networks:

NN不绝对只是memorize the dataset

如果数据集正确，学习很快，cost func曲线在最较初位置就会快速下降

如果是Random label的数据集，cost func曲线是linear下降的

3.paper-the loss surfaces of multilayer networks

如果数据结构化？local minimum 是同质量，学习起来也很容易