深度学习知识点汇总-机器学习基础（4）

2.4 常用分类算法的优缺点

• 朴素贝叶斯分类法
  优点：1）所需估计的参数少，对于缺失数据不敏感。 2）有着坚实的数学基础，以及稳定的分类效率。
  缺点：1）需要假设属性之间相互独立，这往往并不成立。 2）需要知道先验概率。
• Decision Tree决策树
  优点：1）不需要任何领域知识或参数假设。 2）适合高维数据。 3）简单易于理解。 4）短时间内处理大量数据，得到可行且效果较好的结果。 5）能够同时处理数值数据和常规性属性。
  缺点：1）对于各类别样本数量不一致数据，信息增益偏向于那些具有更多数值的特征。 2）易于过拟合。 3）忽略属性之间的相关性。 4）不支持在线学习。
• SVM支持向量机
  优点：1）可以解决小样本下机器学习的问题。 2）提高泛化性能。 3）可以解决高维、非线性问题。超高维文本分类仍受欢迎。
  缺点：1）对缺失数据敏感。 3）运行和调参复杂。
• K近邻算法
  优点：1）思想直接，理论成熟，既可以用来做分类也可以用来做回归； 2）可用于非线性分类； 3）训练时间复杂度为O(n)； 4）准确度高，对数据没有假设，对外点不敏感；
  缺点：1）计算量太大。 2）对于样本分类不均衡的问题，会产生误判。 3）需要大量的内存。 4）输出的可解释性不强。
• 逻辑回归
  优点：1）速度快。 2）简单易于理解，直接看到各个特征的权重。 3）能容易地更新模型吸收新的数据。 4）如果想要一个概率框架，动态调整分类阀值。
  缺点：对特征工程要求高。特征处理复杂。需要归一化和较多的特征工程。
• Adaboosting
  优点：1）adaboost是一种有很高精度的分类器。 2）可以使用各种方法构建子分类器，Adaboost算法提供的是框架。 3）当使用简单分类器时，计算出的结果是可以理解的。而且弱分类器构造极其简单。 4）简单，不用做特征筛选。 5）不用担心overfitting。
  缺点：对外点比较敏感
• 神经网络
  优点：1）分类准确率高。 2）并行处理能力强。 3）分布式存储和学习能力强。 4）鲁棒性较强，不易受噪声影响。
  缺点：1）需要大量参数（网络拓扑、阀值、阈值）。 2）结果难以解释。 3）训练时间过长。