逻辑回归

2017-05-29 本文已影响83人 jockerMe

什么是逻辑回归？

logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同。但这两种回归可以归于同一个家族，既广义线性模型(generalizedlinear model)。

随着因变量的不同，被称为不同的回归模型：

如果结果是连续的，就是多重线性回归
如果结果是二项分布，就是Logistic回归

Logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也容易解释。实际中最为常用的也是二分类的Logistic回归。

常规步骤：

特征工程，寻找与因变量具有相关性的自变量
寻找h函数(hypotheis)
构造损失函数(cost function)
通过计算损失函数的最小值，求得回归参数（）

构造预测函数Hypotheis

Logistic回归是一种分类方法，主要用于分类问题，函数的形式为：

逻辑回归中利用到了Logistic函数(或称为Sigmoid函数)，形如下图：

下面的图来自于 Coursera 中机器学习课程，左图是一个线性决策边界，右图是一个非线性的决策边界：

对于线性边界的情况，边界形式如下：

构造预测函数为：

预测函数的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

预测函数也可写成以下形式：

构造损失函数：

在线性函数中

损失函数可改写为如下形式：

在这里，尝试解释以下整个逻辑回归算法：
首先我们尝试找到一个决策边界函数h，此决策边界函数h有如下特性，针对正负样本，随着正负样本离决策边界h越远，代入决策边界函数的值越大或越小(分别大于或者小于0)，将样本点入决策边界所得的值，代入sigmoid函数，映射为分类结果的概率值。然而对于CostFunction，我们希望当误分的点越多CostFunction的值越大，并且计算出的概率对应正确分类的概率越大，CostFunction值越小。并且CostFunction 应该是一个凸函数，以此避免当我们使用梯度下降，计算最优解时，陷入局部最优。所以我们构造如上所示的CostFunction，当正样本标记为1，且概率为1 时，CostFunction的值为0。当正样本标记为1，概率越低， CostFunction的值越大。负样本同理，我们使用技巧，将正负样本的代价函数结合在一起，就获得了CostFunction J。