线性回归

线性回归:

linear.png

参数:[n,1]
X:[n,m]
y:[m,1]
m为样本数

linear1.png

误差ε独立同分布，服从均值为0，方差为某定值σ^2的高斯分布。随机现象可以看作众多因素的独立影响的综合反应，往往近似服从正太分布。

linear2.png

其极大似然函数:

linear3.png

由于该函数是累乘的，所以取对数转化为加法。

linear4.png

我们的目标是求其极大似然函数的最大值，根据以上公式转化为求

linear5.png

的极小值，从而推导出最小二乘法。

linear6.png

对其求梯度:

linear7.png

求解出参数:

linear8.png

通过上述方法可快速求出参数的解，前提是

linear9.png

可逆。如果其不可逆可以加入扰动因子使其可逆(同时可以防止过拟合):

linear10.png

注:上述梯度计算涉及的矩阵求导知识

linear11.png

为目标函数增加复杂度惩罚因子(抑制过拟合)

L1-norm

linear12.png

L2-norm

linear13.png

本质假定参数服从高斯分布。

梯度下降算法求解参数

linear14.png linear15.png

m为样本数，n为参数的个数

写成向量的形式:

linear16.png

梯度下降方法:

1.批量梯度下降(每次更新使用所有样本)，该方法可收敛至全局最小值(更新速率不能太大),目标函数必须是凸函数。但是当样本数量较大时，计算较慢。

2.随机梯度下降(每次更新使用一个样本)，该方法计算速度快，但是较难收敛到极小值，收敛至极小值附近，可跳出局部极小值,适合在线学习。

3.mini-batch梯度下降(每次更新选取固定数量的样本的平均梯度)

LogisticRegression(用于解决分类问题)

linear19.png linear17.png

其Sigmoid函数图像为:

linear18.png

与线性回归不同，它将输出值压缩在[0,1]作为概率输出。

Sigmoid函数求导:

linear20.png

Logistic回归参数估计

linear21.png

乘性公式取对数转化为加性公式,则其对数似然函数:

linear22.png

其对数似然函数就是我们的loss函数

对其求导得:

linear23.png