线型回归、逻辑回归和神经网络的区别

一、线型回归（Linear regression）

二、梯度下降（Gradient descent)

三、逻辑回归（Logistic regression）

        逻辑回归是一个分类算法，逻辑回归的Hypothesis和线性回归非常相似：

四、Bias、Variance

五、Regularization

总结：线型回归和逻辑回归都是适合线型可分的情况

六、神经网络

        实际上，可以将Logistic Regression看做是仅含有一层神经元的单层的神经网络。一般用于二分类网络，线性可分的情况，是一个线性模型，激活函数为Sigmoid，logistic regression的一个优点是logistic cost function 是一个凸函数，可以求得全局最小值，可以用极大似然估计求解。

        神经网络是一个对于处理复杂的非线性模型很优秀的算法。

神经元：

代表一个神经元

神经网络：

        就是一组神经元连接在一起的集合。神经网络的第一层是输入层，值为xi，最后一层是输出层，如果作为分类算法训练则有多少个类别就应该有多少个对应的输出单元，对应的输出单元被激活代表着分类的结果。隐藏层可以有多层，每层可以有多个单元，规模越大训练的模型越复杂。而对于隐藏层中的每个单元本身都是一个逻辑回归的过程，也就是说每个隐藏单元都训练出了一个比前一层更加复杂的特征，这样一层接一层我们就可以训练出越来越复杂的特征，直到得到结果。

参考