[搬运]机器学习中的分类任务
在 machinelearningmastery 看到一篇介绍分类任务（Classification）的文章， 作者把分类任务涉及的概念做了一个综述，我感觉这篇文章写得非常详细， 对于理解ML 中分类问题非常有帮助， 这篇文章是对原文的一个概括。
1. 什么是分类任务
在机器学习中， 分类任务为输入的记录贴上各种标签。 比如：
- 判断一封电子邮件是否是垃圾邮件
- 判断手写文本中每个字符对应的字母（拉丁字母）
- 电信运营商根据用户行为判断该用户是否会流失
分类算法通过样本来学习如何将输入记录分类。 对于学习数据来说， 每个 lable 对应的数据最好能够覆盖该lable 涉及的各种情况， 这样算法才能够尽可能的学习到每个lable的知识。
数值化标签
在训练之前， 往往要将 lable 变成一个数值才能进行后续的计算。 比如对于垃圾邮件判断问题， “非垃圾邮件” 记为 0， “垃圾邮件” 记为1。
模型性能指标
对于一个模型来说， 使用者最关心的就是其性能如何。对于机器学习模型来说， 其性能往往和使用场景挂钩， 不同的场景对模型的要求并不相同。 但是对于分类任务来说， 这里给出了2个常用的性能指标。
-
Accuracy ：对于结果是 lable 的分类模型来说， Accuracy 是一个比较常用的测量工具，但是要记住它并不是放四海而皆准的衡量指标。 使用Accuracy 的场景往往是假阳性和假阴性对业务的影响差不多的时候。 如果假阳性或者假阴性特别重要的话， 那么就要考虑precision或者 recall 了。
-
ROC Curve ：有一类分类任务， 给出的结果并不是lable ，而是该条记录属于各个lable 的概率。 这种情况下一般使用 ROC Curve 作为模型的衡量指标。
2. 分类任务类型
- Binary Classification：结果只有2个类别，比如是否是垃圾邮件。
- Multi-Class Classification：结果不止2个分类，比如判断手写数字是 0-9中的哪个字符。但是结果只能是多种类型中的一种
- Multi-Label Classification： 不同于前两类，这种任务重每个记录可以对应不止一个标签。
- Imbalanced Classification：对于1,2 类型来说，如果其中某种lable 对应的记录特别多而其他lable 对应的记录特别少，这时候就是 Imbalanced Classification。异常检测是这类任务的代表。
2.1 Binary Classification
常见问题：
- 分辨垃圾邮件
- 分辨可能流失客户
- 转化辨别（判断一个访问者是否会下单）
Binary Classification 对应的结果只有2中， 0或者1， 使得这类任务天然的对应到 Bernoulli probability distribution。
常见的可以解决此类任务算法：
- Logistic Regression
- k-Nearest Neighbors
- Decision Trees
- Support Vector Machine
- Naive Bayes
其中 Logistic Regression， Support Vector Machine 是专门为 Binary Classification 设计的算法。
2.2 Multi-Class Classification
统计上对应的分布是Multinoulli probability distribution。
常见问题：
- 人脸识别
- 植物类型识别
- 光学字符识别
常见的可以解决此类任务算法：
- k-Nearest Neighbors.
- Decision Trees.
- Naive Bayes.
- Random Forest.
- Gradient Boosting.
如果想使用 binary classification 算法来解决 Multi-Class Classification 问题， 有2中策略
- One-vs-Rest:
- One-vs-One:
对于这两种策略， 网上有很多讨论，这里就不再详细讨论了。
2.3 Multi-Label Classification
常见问题：
- 图片标注： 为图片添加lable
- 新闻分类： 为新闻添加标签
常见的可以解决此类任务算法：
- Multi-label Decision Trees
- Multi-label Random Forests
- Multi-label Gradient Boosting
2.4 Imbalanced Classification
Imbalanced Classification 往往和binary classification 类似， 比如判断一个病人是否患有某种疾病。 结果通常也是 “是” 或者 “否”，但是不同点在于不同标签对应数据量的比例。 如果某种疾病发病率很高，患病人数和健康人数大致相同， 那么这类问题就是 binary classification 比如近视。 如果疾病发病率很低， 比如某种癌症， 那么这类问题就是Imbalanced Classification
常见问题：
- 恶意行为检测
- 异常值检测
- 医疗诊断
这类问题使用的算法往往和 binary classification 相同， 但是由于数据比例极端不平衡， 所以往往要事先对数据平衡性进行预处理。常见的方式有两种， 第一是将占比大的数据删除，第二是将占比很小的数据扩增。 方法有
- Random Undersampling
- SMOTE Oversampling
也有些算法对于这种极端不均衡的数据做了处理，比如
- Cost-sensitive Logistic Regression
- Cost-sensitive Decision Trees
- Cost-sensitive Support Vector Machines
最后， 对于这类问题， 使用的模型衡量指标也会有所不同， 常用的有
- Precision.
- Recall.
- F-Measure.
