逻辑回归的适用情况

逻辑回归在因变量是分类值的情况使用
例如：

• 预测一个邮件是否是垃圾邮件
• 判断肿瘤是否是恶性的

假设我们需要判别垃圾邮件，如果使用线性回归，则需要根据可能的分类设置阈值，如果结果实际是恶性的，但预测值是0.4，阈值是0.5，我们得到的结果是非恶性。

从这个例子我们发现，线性回归不适合分类问题，它的因变量没有界限。而逻辑回归的因变量值被严格的限制在0-1.

Output = 0 or 1

假设 Z = WX + B

hΘ(x) = sigmoid (Z)
sigmoid(Z):

图片.png

如果t无限大，预测值无限接近1，如果趋于负无穷，预测值无限接近0.

通过线性回归拟合数据，而后使用逻辑函数来预测分类的结果

逻辑回归的类型

二分类逻辑回归

分类结果只有两种，女人和男人。

多分类逻辑回归

三种以上的无序分类，晴天，雨天，雪天，阴天。

有序逻辑回归

三种以上的有序分类。分数ABC

决策边界

也就是分类阈值，当预测值低于或高于阈值，被分为不同的类。
比如，预测值>0.5,邮件分类为垃圾邮件
决策边界的确定可以是线性或者非线性的，可以构造复杂的决策边界。

代价函数

图片.png

为什么线性回归的损失函数不能用于逻辑回归呢？

线性函数使用均方差作为损失函数。如果被用在逻辑回归上，它会成为参数（theta）的非凸函数。而只有当函数是凸函数时，梯度下降才会收敛到全局最小值。

凸函数可以理解为一个光滑的山沟，非凸函数可能在山坡上有一块洼地，如果用最小二乘法很容易陷入局部解。

图片.png

损失函数可以从多个方面解释，
一方面可以通过概率论最大似然法解释，
另一方面可以通过信息论熵原理。