分类算法的区别

• 最近在重新看Andrew Ng的课程，课程作业都放在这 ，学到神经网络的时候，想到一个问题，神经网络和逻辑回归是什么关系。
• 逻辑回归作为一种分类算法，直白理解是用一条直线/曲线/曲面将不同类别的输入区分开，得到每种输入对应的类别。绝大部分的情况下，需要用复杂的多项式区分不同的类别，输入维度越多，多项式的项数越多，复杂维度下，很难直接用逻辑回归求解，从而引入神经网络。看这篇文章

Logistic Regression看做是仅含有一个神经元的单层的神经网络！
Softmax regression其实是多维的Logistic regression，它其实可以看做是单层多个神经元的神经网络！

• 这就涉及到一个问题，softmax regression是什么，Andrew Ng课程里没有看到，但讲义里面有介绍：通过广义线性模型可以推出sigmoid和softmax，sigmoid只针对分两类的逻辑回归，是softmax的特例，softmax是将目标变量分为K类的算法。Andrew Ng课程里的方法是做K个logistic model，选最大的h(x)。当然这两种方法也是有专门使用场景的："Softmax 回归 vs. k 个二元分类器（看讲义）"