逻辑回归公式推导
2018-12-01 本文已影响160人
Daily_Note
逻辑回归
- 逻辑回归到底是分类还是回归？
- 它是经典的二分类算法
- 机器学习算法选择：先逻辑回归再用复杂的，能简单的还是用简单的。
- 逻辑回归的决策边界：可以是非线性的。
激活函数：sigmoid函数
-
公式：
image.png
-
图像：
image.png
- 自变量取值为任意实数，值域为[0,1]
- 将任意的输入映射到了[0,1]区间，我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid函数中，这样就完成了由值到概率的转换，也就是分类任务。
-
预测函数：
image.png
，其中
image.png
-
分类任务：
image.png
-
整合：
image.png
-
解释：对于二分类任务(0,1),整合之后y取1只保留
image.png
y取0只保留了
image.png
-
解释：对于二分类任务(0,1),整合之后y取1只保留
-
似然函数：
似然函数.png
-
对数似然：
对数似然.png
-
应用梯度上升求最大值，引入
梯度下降.png
转换为求最小值。
- 求导过程：
-
sigmoid函数求导：
sigmoid函数求导
-
目标函数求导：
公式求导.png
-
sigmoid函数求导：
-
利用梯度下降，参数更新：
梯度下降参数更新
-
多分类的softmax：
多分类
