深度学习知识点汇总-机器学习基础（7）

2.7 为什么在分类问题中用交叉熵代替二次代价函数？

交叉熵损失函数的学习速度更快，但是对于回归问题，它的准确性又不如MSE损失函数。

2.8 线性判别分析的思想是什么？

线性判别分析（Linear Discriminant Analysis，LDA）是一种降维方法。和主成分分析PCA不考虑样本类别输出的无监督降维技术不同，LDA是一种监督学习的降维技术，数据集的每个样本有类别输出。

LDA分类思想简单总结如下：

1. 多维空间中，数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将d维数据转化成1维数据进行处理。
2. 对于训练数据，设法将多维数据投影到一条直线上，同类数据的投影点尽可能接近，异类数据点尽可能远离。
3. 对数据进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别。

如果用一句话概括LDA思想，即“投影后类内方差最小，类间方差最大”。

图1左图为最大化平均点距离最远的投影方式。最大化类间距离；
图1右图为最小化类内距离的方式。