机器学习基石笔记：10 Logistic Regression

线性分类中的是非题变为逻辑分类中的概率题。在逻辑回归中，设置概率阈值后，大于等于该值的为O，小于改值的为X。

图1 软二分类1

O为1，X为0：

图2 软二分类2
图3 逻辑回归的假设

逻辑函数/S型函数：光滑，单调。自变量趋于负无穷时，因变量趋于0；自变量趋于正无穷时，因变量趋于1；自变量取0时，因变量值为0.5。其能够较好地模拟概率特性。

图4 逻辑函数
图5 三种线性模型

逻辑回归使用交叉熵代价函数:

图6 交叉熵代价函数1
图7 交叉熵代价函数2
图8 交叉熵代价函数3
图9 交叉熵代价函数4
图10 交叉熵代价函数5
图11 交叉熵代价函数6
图12 交叉熵代价函数7
图13 交叉熵代价函数8
图14 交叉熵代价函数9
图15 交叉熵代价函数10

最小化代价函数时，发现无法求出使其值最小的解析解。类比PLA的迭代法，使用梯度下降法求最小值。

图16 梯度下降法1
图17 梯度下降法2
图18 梯度下降法3

：学习速率，与梯度大小有关，正比。
：方向，单位长度，方向与梯度相反。

图19 梯度下降法4
图20 梯度下降法5
图21 梯度下降法6
图22 梯度下降法7
图23 梯度下降法8
图24 梯度下降法9
图25 逻辑回归的算法流程