基于Logistic回归的二元分类应用（含公式推导）

一、 关于回归

在分类中问题中，如果给定一个输入，其所产生的输出是一个布尔值，那么这是是与否型的答案；而在输出是数值型的值下，我们所希望的学习结果不是C={0, 1}，而是一个连续的函数。我们倾向于将数值的输出写成关于输入的函数，数值输入称为自变量，数值输出称为因变量。我们希望通过对训练数据集学习后得出一个类似下面的函数关系式（这里以简单线性为例）。

在二元分类中，我们需要一个这样的函数：它能够接收所有的输入并能预测类别，即0或1。Sigmoid函数正是我们需要的函数，
sigmoid函数 它具有以下性质：
a、函数输入为0时，Sigmoid结果为0.5。
b、随着输入x值的增大，Sigmoid函数接近1，随着x的减小，其值接近于0。
我们将上面拟合得到函数g(x)代入Sigmoid函数中，若g(x)输出值大于0时，Sigmoid函数结果大于0.5，g(x)值小于0时，Sigmoid函数小于0.5。这样Sigmoid函数把g(x)函数值转为为后验概率，也即Sigmoid函数大于0.5概率时，我们将X类标标记为1，而概率小于0.5时，X类标记为0。
sigmoid函数值越大，我们越有把握将X正确地分类。
二、寻找最佳拟合曲线

---

针对g(x)函数回归系数的求解，我们使用梯度上升优化法多次迭代求出最佳参数。
所谓梯度是指多元函数在某一点处的一阶偏导数向量。一个梯度应用直观理解的例子是热传导问题，物体温度沿着各个方向传播速度是不相同的，那么沿着哪条方向温度变化率是最小或最大的呢？还有是在爬山过程中，我们朝着哪个方向迈出一步上升的幅度最大呢？答案是沿着梯度的方向，温度变化率最大、迈出一步上升幅度最大。梯度上升法用于求解最大值，梯度下降法用于求解最小化问题。
基于上面提到的理论，我们在训练数据集中经过多次迭代后求解出最佳拟合参数，之后便能够在测试数据集中预测类别。

三、公式推导

四、更新回归系数

---

根据以上计算得出的梯度公式，我们每次迭代更新回归系数W公式为：

更新回归系数

alpha为学习因子（learning factor）或者称为步长（stepsize），该参数决定每次沿梯度方向移动多少。alpha值选择很重要，如果alpha值偏大，则可能导致函数摆动甚至发散，如果偏小，使得函数收敛速度很慢，计算开销偏大。同时，运用梯度方法求解最优化问题，最终结果可能不一定是全局最优，可能只是局部最优解。因为，在使用梯度方法优化过程中，它寻找的是最近的一个极值点，因此来说，函数仅存在一个极值点时才能达到全局最优。
求解最优化问题，梯度方法较为简单，但结果相当有效。我们还需注意的是标准梯度上升法在每次更新回归系数W时，都要遍历整个数据集，当数据规模很大情况下，内存开销和计算量很大。下面介绍一种在线学习算法--随机梯度上升法。
随机梯度上升法基本思想是：在每一次迭代更新回归系数时，其不是遍历整个数据集，而是一次仅用一个样本点来更新回归系数。更高级的思想是，我们不再像上面对alpha参数保持不变，而是随着迭代次数的增加，逐渐减小alpha值，也即越靠近最优解时，我们移动的步长越小以防越过最优解。同时，样本点也可以随机选取以减少周期性波动。

五、代码实现

1、标准梯度上升法

def gradAscent():

    dataMat = []
    labelMat = []
    with open('testSet.txt') as fr:
        for line in fr.readlines():
            lineArr = line.strip().split()
            dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
            labelMat.append(int(lineArr[2]))

    dataMatrix = mat(dataMat)
    labelMat = mat(labelMat).transpose()
    m, n = shape(dataMatrix)
    alpha = .001
    maxCycles = 500
    weights = ones((n, 1))
    # print 'weights:', weights
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)
        error = (labelMat - h)
        weights += alpha * dataMatrix.transpose() * error
    return weights

2、sigmoid方法

def sigmoid(inx):
    return 1.0 / (1 + exp(-inx))

3、改进的随机梯度上升法

def stocGradAscentImproved(numIter=150):
    """Improved Stochastic gradient ascent method"""
    with open('testSet.txt') as fr:
        for line in fr.readlines():
            lineArr = line.strip().split()
            dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
            labelMat.append(int(lineArr[2]))

    dataMat = array(dataMat)
    labelMat = array(labelMat)
    m, n = shape(dataMat)
    weights = ones(n)
    for j in range(numIter):
        dataIndex = range(m)
        for i in range(m):
            alpha = 2 / (1.0 + j + i) + 0.01  # 更快地收敛
            randIndex = int(random.uniform(0, len(dataIndex)))
            h = sigmoid(sum(dataMat[randIndex] * weights))
            error = classLabels[randIndex] - h
            weights += alpha * error * dataMat[randIndex]
            del dataIndex[randIndex]  # 已选过的样本点删除
    return weights

4、其中testSet.txt文件部分内容：

-0.017612   14.053064    0
-1.395634   4.662541    1
-0.752157   6.538620    0
-1.322371   7.152853    0
0.423363    11.054677    0
0.406704    7.067335     1
0.667394    12.741452    0
-2.460150   6.866805    1
0.569411    9.548755     0

stocGradAscentImproved方法在训练数据集求解出回归系数W，也即解出拟合曲线了，之后使用测试数据集预测类标号。如果sigmoid函数计算结果值大于0.5，则标记为1，而小于0.5标记为0。
在测试数据集上多次迭代求平均错误率。

六、总结

1、选择合适的分类器函数，这里使用sigmoid函数，我们在高中生物课学习过该参数，即种群S型生长曲线。sigmoid函数能够把拟合计算得到的曲线转换为后验概率，当sigmoid函数值大于0.5时，我们把该类标记为A类，小于0.5时，标记为B类。
2、在大规模数据集中，由于标准梯度上升法在每次迭代更新回归系数时，它都是遍历整个数据集，因此，该方法占用的内存空间和计算量很大。
3、公式算法应自己推导一遍以便对程序有更好的理解。