逻辑回归算法

2019-04-16 本文已影响0人 shadowflow

逻辑回归是经典的二分类算法
机器学习算法选择：先逻辑回归再用复杂的，能简单还是用简单的
逻辑回归的决策边界：可以是非线性的

1 Sigmoid函数

公式： $g(z)=\frac{1}{1+e^{-z}}$
自变量取值为任意实数，值域为[0,1]
解释：将任意的输入映射到了[0,1]区间，我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid函数中这样就完成了由值到概率的转换，也就是分类任务

2 预测函数

$h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$
分类任务：

$p(y=1|x;\theta)=h_\theta(x)$
$p(y=0|x;\theta)=1-h_\theta(x)$
整合：
$p(y|x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y}$

3 似然函数

$L(\theta)=\prod_{i=1}^mp(y_i|x_i;\theta)=\prod_{i=1}^m(h_{\theta}(x_i))^{y_i}(1-h_\theta(x_i))^{1-y_i}$

4 对数似然

$l(\theta)=logL(\theta)=\sum_{i=1}^mp(y_i|x_i;\theta)=\sum_{i=1}^m(y_ilogh_{\theta}(x_i)+(1-y_i)log(1-h_\theta(x_i)))$
此时应用梯度上升求最大值，引入 $J(\theta)=-\frac{1}{m}l(\theta)$ 转换为梯度下降任务。

5 求导

对 $J(\theta)$ 求导：
$\frac{\delta}{\delta_{\theta_j}}J(\theta)=\frac{1}{m}\sum_{i=1}^m(h_\theta(x_i)-y_i)x_i^j$

6 参数更新

picture.PNG