Day1 #100DaysofMLCoding#

2018-8-6

个人前置条件：

• 已经将《统计学习方法》《机器学习实战》一刷80%
• 西瓜书一刷50%，tensorflow实战一刷70%
• kaggle上参与过titanic(Top 6%)和数字识别(Top 12%)
• 比较了解pandas，numpy，matplotlib，seaborn，tensorflow，sklearn

今日计划

1. 复习数学模型基础
2. 看深度学习博客——太长了 悠闲时看
   视觉CV 博客一
   colah个人博客
3. 深度学习Udacity
4. ML手册
   机器学习规则 (Rules of Machine Learning)
5. os基本操作

知识点记录

1. softmax以及其特性（数值越大越武断，越小越均等） 单纯加减常量，softmax后不变
2. one-hot编码、交叉熵(非对称)
3. SGD技巧

• 均值为0 同方差
• 初始化随机，方差要小
• Momentum 动量，保留上一步梯度下降运动的趋势 M=0.9M+0.1△M

• 学习速率递减（多种多样的递减方法……）

  
  
• Ada 降低对超参数的敏感度，但没有momentum更准确
• 对小型模型，出现问题先降学习速率

4. train dev test
5. 模型水平提高可信（Rule of 30）至少多预测对30个样本
   大于3万个实例作为验证集，精确到十分位0.1%

sklearn所学

代码

os.listdir(folder)