Day9 #100DaysofMLCoding#

2018-08-16 19

今日安排

1. 完成吴恩达DeepLearning 4course的配套代码联系
2. 研读《深度学习》
3. 看cs231n第13节视频
4. 开始Coursera的新课程https://www.coursera.org/learn/intro-to-deep-learning/lecture/xaIEN/welcome-to-aml-specialization

其他

1.神奇的生成图片网站https://affinelayer.com/pixsrv/index.html

知识点

1. MSE 均方差（Mean Square Error）

2. 线性代数方法求WX=b
   对于奇异的矩阵，有时候需要用到岭回归，或者奇异值分解后求值

   
   
   

   替代方法：计算方法-梯度下降、牛顿法等

3. 分类 使用softmax以及交叉熵
   

   问题：为啥只考虑正确答案为1的交叉熵，不考虑为0的，采用-log(1-xxx)

4. L2正则让参数接近0
   L1正则让参数为0，适用于学习稀疏模型。对于为0的参数不可微，不宜使用简单的梯度下降法来调参数

5. 优化直接的梯度下降 用动量法，Nesterov momentum, Adam等等……

   
   Nesterov momentum
   AdaGrad 对于稀疏数据来说很好用
   RMSprop
   Adam
   

   6

   
   

np.linspace
np.rint

生成模型