机器学习入门

• 什么是机器学习
  基于以往的经验和判断，使用统计学方法和原理，进行统计建模，再用模型预测未来的一系列行为的过程。

  • 以往经验和判断：数据集
  • 统计建模
  • 针对指定的行为进行预测

• KNN算法
  邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。
  kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

• 决策树
  Information Entropy
  信息熵
  不确定性，信息具有不确定性

Information Gain
信息增益
如果有一个特征的Info Entropy为0，就说明很确定。那么在给定总entropy时gain最大。发过来因为很确定，所以就用这个特征来划分。

决策树有多个维度可以组织，如何选择决策维度（树的根节点）呢？

机器学习的三个关键决定是否适合使用机器学习

1. 符合一定的模式（pattern）
2. 不易编程实现
3. 有大量资料（样本）