这一篇文章介绍第三章机器学习的分类。

第三章 “机器学习”三重门，“中庸之道”趋若人

机器学习分为三大类：监督学习，非监督学习，半监督学习

3.1 监督学习

3.1.1感性认知监督学习

监督学习：从有标签的训练数据中学习模型，然后给定某个新数组，利用模型预测它的标签。这里的标签可以理解为事物的分类。

3.1.2监督学习的形式化描述

在监督学习中，根据目标预测变量的类型不同，可以分为回归分析和分类学习。

回归分析包括：线性回归和逻辑回归。回归其实就是等价于函数的拟合，即找到一个类似的函数。回归问题分为学习和预测两个部分。

分类学习的算法比较多，比较著名的有K-近邻（k-Nearest Neighbor ,KNN ）,支持向量机（Support Vector Machine，SVM），朴素贝叶斯分类器（Naive Bayes），决策树（Decision Tree），BP反向传播算法等。

3.1.3 K-近邻算法

KNN是经典的监督学习算法，位居10大数据挖掘算法之列。KNN的工作机制是：给定某个待分类的测试样本，基于某种距离（如欧几里得距离）度量，找到训练集合中与其最近的k个训练样本，然后基于这k个最近的邻居（K为正整数，通常最小），进行分类。

KNN示意图
上图当k为1时，待分类样本为正方形，当k为2时，待分类样本为三角形，当继续扩大k值时待分类样本又可能发生变化。KNN算法实施“众（数据）点平等”的“少数服从多数”原则，那么可能将新数据的类别归属误判。优化办法是添加权重，使得靠近数据点的投票权重高。

3.2 非监督学习

3.2.1感性认知非监督学习

非监督学习，就是从不带标签的数据中自己总结出知识，本质上就是“聚类（Cluster）的近义词。” ，“方以类聚，物以群分，吉凶生矣”。给定数据，聚类从中学习，能学到什么，就看数据本身具备什么特征了。

非监督学习

比较著名的非监督类学习算法有K均值聚类（K-Means Clustering）,关联规则分析（Association Rule，如Apriori算法等），主成分分析（Principe Components Analysis，PCA），随机森林（Random Rorests）等。
目前在深度学习领域中最有前景的无监督学习算法是Ian GoodFellow 提出来的“生成对抗网络（General Adversarial Networks）”

3.2.2非监督学习的代表——K均值聚类

3.2.2.1聚类的基本概念

至今聚类没有一个公认的严格定义。宽泛来说，聚类是指：将物理或抽象对象的集合分成由类似的对象组成多个类的过程。聚类的关键是如何度量对象间的相识性。

聚类分析而言，它通常要分为四步走：数据表示，聚类判据，聚类算法和聚类评估。

• 聚类表示。 同一个聚类算法只能用一种数据表示。数据表示分为外显和内在两个部分。外显比如：图像，语音，文本等，内在较为抽象。机器善于感知外显部分。
• 判据。算法通过数据来确定聚类搜索的方向。
• 算法设计。
• 聚类的评估。

3.2.2.2簇的划分

同一簇特征类似。如下图：

cluster.png

3.2.2.3 k均值聚类算法的核心

k均值聚类的目的在于，给定一个期望得聚类个数k和包括N个数据对象的数据集合，将其划分满足距离方差最小的K个类。

k 均值聚类示意图

算法流程：

• 比如上图的k为2时，首先选取k个点作为初始k个簇的中心，然后将其余的数据按照距离簇中心最近的原则，分配到不同的簇。
• 当所有的点被划分到最后一个簇之后，再对簇中心进行更新。更新依据是根据每个均值对象的均值，计算每个对象到簇中心对象距离的最小值，知道满足一定的条件为止。

3.2.2.4 k均值聚类算法的优缺点

优点：简单易于操作，并且效率非常高。
缺点：

1. k值需要事先给出。
2. 聚类质量对初始聚类中心选择有很强的依赖性。
3. 对噪声点比较敏感，聚类结果容易受到噪声点的影响。
4. 只能发现球星簇。

3.3 半监督学习

即用到了标签数据，又用到了非标签数据。将已知认知（标签化的分类信息），扩大到未知领域。
常用的半监督算法：生成式方法，半监督支持向量机（Semi-supervised Support Vector Machine），图半监督学习，非监督聚类等。

3.4强化学习

强化学习使用未标记的数据，它可以通过某种方法（奖惩函数）知道你是离正确答案越来越近，还是越来越远。

---

这篇文章介绍机器学习的分类和常见算法，下一篇介绍python中机器学习的库。