逻辑回归

2018-09-12 本文已影响0人菜鸟learn编程

二项式逻辑回归模型解决二分类问题，由两个条件概率分布 $P(Y|x)$ 表示：
$P(Y=1|x)=\frac{exp(w*x)}{1+exp(w*x)}$
$P(Y=0|x)=\frac{1}{1+exp(w*x)}$
其中 $x=\{x_1, x_2, \dots, x_n, b\}$ ， $w=\{w_1, w_2, \dots, w_n, 1\}$ ， $Y=\{0,1\}$
给定输入实例 $x$ ，可以求得 $P(Y=1|x)$ 和 $P(Y=0|x)$ 。通过比较两个条件概率的大小，将实例 $x$ 分到概率值较大的那一类。
假设：
$P(Y=1|x)=\pi(x)$
$P(Y=0|x)=1-\pi(x)$
使用极大似然法来估计模型参数：
$\prod_{i=1}^n \pi(x_i)^{y_i}(1-\pi(x_i))^{1-y_i}$
其对数似然函数为：
$L(w)=\sum_{i=1}^n[{y_i}\log\pi(x_i)+(1-y_i)\log(1-\pi(x_i))] = \sum_{i=1}^n[{y_i}\log\frac{\pi(x_i)}{(1-\pi(x_i))}+\log(1-\pi(x_i))] = \sum_{i=1}^n[{y_i}wx_i-\log(1+exp(wx_i))]$
对 $L(w)$ 求极大值，得到 $w$ 的估计值
通常使用梯度下降法和你牛顿法求解