逻辑回归模型(LR)

2019-07-22 本文已影响3人 GQRstar

1.模型概念

逻辑回归模型是一种分类模型，它可以处理二院分类以及多分类的任务。我们知道，线性回归的模型是求出目标变量Y和样本矩阵X之间的线性关系 $\theta$ ，满足 $Y=X\theta$ 。此时Y是连续变量，所以是回归模型。若Y是离散的，我们可以对上面回归公式得到的数值再次进行转换 $g(Y)$ ，逻辑回归回归模型就是这样转换得到的，转换后就是一个二元分类模型。
对输入的样本矩阵X线性回归得到 $X\theta$ ，我们使用 $sigmoid$ 函数再次进行转换得到逻辑回归(Logistic Regression Model,LR)模型， $sigmoid$ 函数的形式如下：
$g(z)=\frac{1}{1+e^{-z}}$
$sigmoid$ 函数有一个性质：当 $z$ 趋于正无穷时， $g(z)$ 趋于1，当 $z$ 趋于负无穷时， $g(z)$ 趋于0。另外，它的导数性质是： $g^{'}(z)=g(z)(1-g(z))$
令 $z=x\theta$ ，可得到逻辑回归模型的一般形式： $g(z=x\theta)=h_\theta(x)=\frac{1}{1+e^{-x\theta}}$ ，其中 $x$ 为样本输入， $\theta$ 为所求模型参数，其输出可理解为某一类的该概率，如果 $h_\theta(x)>0.5$ ，即 $x\theta>0$ ，则为1,如果 $h_\theta(x)<0.5$ ，即 $x\theta<0$ ，则为0,如果 $h_\theta(x)=0.5$ ，即 $x\theta=0$ ，则无法正确分类。 $h_\theta(x)$ 值越小，样本所属0类的概率越高，反之，所属1类的概率越大。
将模型写为矩阵形式 $h_\theta(X)=\frac{1}{1+e^{-X\theta}}$ ，其中， $h_\theta(X)$ 为模型输出m1的维度， $X$ 为样本矩阵，维度为mn， $\theta$ 为模型参数，维度为n*1。

LR模型示意图
损失函数的求导过程:

函数求导
得参数的更新公式为:

参数更新

2.损失函数

模型输出值的范围为[0,1]，可以认为是样本属于1类的概率:
$P(y=1|x,\theta)=h_\theta(x)$
$P(y=0|x,\theta)=1-h_\theta(x)$
两个公式合并为:
$P(y|x,\theta ) = h_{\theta}(x)^y(1-h_{\theta}(x))^{1-y}$
使用似然函数最大化求解模型参数，似然函数的公式为:
$L(\theta) = \prod\limits_{i=1}^{m}(h_{\theta}(x^{(i)}))^{y^{(i)}}(1-h_{\theta}(x^{(i)}))^{1-y^{(i)}}$
其中m为样本的个数。
　　　　对似然函数对数化取反的表达式，即损失函数表达式为：
$J(\theta) = -\frac{1}{m}lnL(\theta) = -\frac{1}{m}\sum\limits_{i=1}^{m}(y^{(i)}log(h_{\theta}(x^{(i)}))+ (1-y^{(i)})log(1-h_{\theta}(x^{(i)})))$

3.正则化

对于线性回归模型，使用L1正则化的模型成为Lasso回归，可以用于特征选择；使用L2正则化的模型称为Ridge回归，可以防止过拟合。

4.优点与缺点

优点：
1）预测结果是介于0和1之间的概率；
2）可以适用于连续性和类别性自变量；
3）容易使用和解释。
缺点：
1）对模型中自变量多重共线性较为敏感，例如两个高度相关自变量同时放入模型，可能导致较弱的一个自变量回归符号不符合预期，符号被扭转。需要利用因子分析或者变量聚类分析等手段来选择代表性的自变量，以减少候选变量之间的相关性；
2）预测结果呈“S”型，因此从log(odds)向概率转化的过程是非线性的，在两端随着log(odds)值的变化，概率变化很小，边际值太小，slope太小，而中间概率的变化很大，很敏感。导致很多区间的变量变化对目标概率的影响没有区分度，无法确定阀值。

参考链接：

逻辑回归模型