ML学习路线

已经大致了解这个领域所用到的知识，根据网上的参考进行1.0阶段的学习，看了前面的知道我对PGM特别感兴趣啊，所以感谢夕小瑶(wx:xixiaoyaoQAQ)按照她的提供的知识结构给自己定个计划。 已经完成的都会带有我在学习过程中见到比较好的资料，或者我自己总的，这样减少大家在学习过程中找资料的成本

第一阶段(六、七月)：基本模型

辅助用视频Ng的courses《machine learning》，台湾国立大学林老师《机器学习基石》、《数据挖掘导论》第4、5章

• 感知机(Perceptron)(已完成)
• 线性回归模型(Linear regression model) (已完成)
• 逻辑回归模型(Logistic regression model) （已完成）
• 浅层神经网络(Neural Network) (已完成)
• 支持向量机(Support Vector Machine)(已完成)
• 交叉验证(Cross Validation)[[1]] [2] [3] [4](已完成)
• 聚类[1] (已完成)
  • K-Means Model [1] [2]
• 内积与映射，线性相关/无关，特征值/特征向量、特征向量、特征分解、矩阵的迹、谱定理、奇异值分解(SVD)

第二阶段（八月~）：最优化(和第一阶段部分是重合，这些会加上代码实现)

复习《概率论与数理统计》、理解《Deep Learning》中的4.3节和4.4节，《Numerical Optimazation》、《最优化理论与方法》袁亚湘，孙文瑜、《统计学习方法》、《数据 挖掘导论》、《机器学习实战》、《智能优化方法》

• 一阶无约束优化算法
  • 梯度下降法（步长的确定方法、线搜索法，信赖域法）
• 二阶无约束优化算法
  • 牛顿法
  • 共轭梯度法
  • 拟牛顿法
• 约束优化算法
  • 线性规划(概念与应用、单纯形法、内点法）
  • 二次规划(概念与应用、对偶法、积极集法）
  • 拉格朗日乘子法的简单认识
• 感知机模型
• K近邻模型
• 朴素贝叶斯模型
• 决策树模型
• 支持向量机模型
• 集成分类器
  • Bagging
  • Boosting
  • Random Forest
• 遗传算法
• 模拟退火
• 禁忌搜索算法
• 蚁群算法
• 粒子群优化算法
• LDA/PCA
• SVD

第三阶段：模式识别与深度学习

• 贝叶斯决策（《模式分类》）
• 参数估计
• 非参数方法
• 线性判别函数
• 浅层神经网络
  • delta方法
  • BP算法及其优化
  • RBF网络
• 深度神经网络（DL中文版书籍）
  • Hopfield网络
  • 玻尔兹曼机
  • RBM
  • DBN
  • DBM
  • CNN
  • Autoencoder
  • RNN
  • LSTM
• 聚类
  • 高斯混合密度
  • K-means
  • 层次聚类
• 决策树与随机森林
• 特征提取与特征选择

第四阶段：

应该是各种框架和工程，比赛吧，哈哈，到这个阶段就有自己的方向，现在自己也不知道干啥，哈哈哈

贯穿始终：

知识点：(每一周深入学习一种网络)
《统计学习方法》、《Deep Learning》、《模式分类》

• 前馈神经网络

• 自编码器(Auto-Encoder)递归神经网络(Recursive NN) / 循环神经网络(RNN)/ 卷积神经网络(CNN) / 神经张量网络 (NTN)

• 长短时记忆网络(LSTM) / 卷积长短时神经网络(convLSTM) / 张量递归神经网络(MV-RNN)/递归神经张量网络(RNTN)

• 受限波尔兹曼机(RBM) / 玻尔兹曼机

• 概率图模型

• 有向图模型->贝叶斯网络

• 无向图模型->马尔科夫随机场->条件随机场