LR知识点梳理

1. LR适用场景
   LR适用于需要求解二分类概率的场景，例如CTR预估，金融风控等场景，CTR预估中，工业界常使用GBDT+LR进行在线的rank

• 优点
  实现简单，分类时计算量小，速度快，存储资源低，不仅可以拿到类别，同时也能拿到分类概率
• 缺点
  1.逻辑回归容易欠拟合，精度不太高 2.数据特征缺失或者特征空间特别大时表现效果并不好

LR是广义线性模型，其原理是找到决策边界，将空间划分为两部分。

决策边界.png

LR是分类模型，通过sigmod函数可以将线性函数的值域映射到[0,1]对应的概率

sigmod函数.png

2. LR为什么又叫对数几率(odds)回归?

   
   几率.png

3. LR的损失函数是什么，与极大似然估计之间的关系

• 似然函数角度理解LR的损失函数

  
  似然值角度理解损失函数.png

• 通过损失函数的角度理解
  由于LR会将样本分为0，1两类，当y_true=1时，我们希望y_hat=1的损失为0，y_hat=0的损失无穷大；反之一样

  
  image.png

4. 通过梯度下降法求解LR的参数

   
   梯度下降.png

5.LR过拟合
当模型过拟合时，通常有以下几种方法进行处理

• 增加样本数量
  由于样本数量少，“配不上”模型的复杂度，增加样本数量可以有效的处理过拟合

• 正则化

  1. 什么是正则化

     • 正则化用来降低模型方差，提高模型的泛化能力，通常使用L1和L2正则化。对于线性回归来讲，加上L1正则化项即为Lasso Regression，加上L2正则化即为Ridge Regression。

     • L1正则化是在原有损失函数的基础上加上所有参数项的绝对值之和（L1 Norm）；其中L1正则化是模型加上所有w服从0均值的拉普拉斯分布的先验

     • L2正则化是加上所有参数的欧氏距离(L2Norm)，L2正则化是模型加上所有w服从0均值的高斯分布的先验。

  2. 正则化为什么可以降低模型复杂度

     
     正则化.png

以2个特征为例，图中椭圆部分是误差等高线，越靠近紫色的部分误差越小。当不加约束的时候，经过梯度下降等优化算法会找到最靠近中心的w的取值。
当加上L1或者L2正则化后，优化的损失不仅要靠近紫色部分，也要考虑L1的菱形区域或L2的圆形区域的面积尽可能的小

对于L1来说，最优参数在（0，x）上，这时其中一个参数就不起作用，这也就是为什么L1会得到稀疏解；对于L2来说，圆形区域会与等高线接近坐标轴的地方相切，这样会得到比较小的解

7. 特征为什么需要归一化
   由于需要使用梯度下降对参数优化，凡是使用梯度下降的算法，特征归一化有利于提高收敛速度

   
   image.png

8. 为什么不使用MSE作为LR的损失函数
   对于LR来说，MSE不是凸函数，容易优化到局部最优值而无法继续收敛

   
   image.png

9. 为什么LR适合离散型特征
   我们在使用逻辑回归的时候很少会把数据直接丢给 LR 来训练，我们一般会对特征进行离散化处理，这样做的优势大致有以下几点：

• 离散后稀疏向量内积乘法运算速度更快，计算结果也方便存储，容易扩展
• 离散后的特征对异常值更具鲁棒性，如 age>30 为 1 否则为 0，对于年龄为 200 的也不会对模型造成很大的干扰
• LR 属于广义线性模型，表达能力有限，经过离散化后，每个变量有单独的权重，这相当于引入了非线性，能够提升模型的表达能力，加大拟合
• 离散后特征可以进行特征交叉，提升表达能力，由 M+N 个变量编程 M*N 个变量，进一步引入非线形，提升了表达能力
• 特征离散后模型更稳定，如用户年龄区间，不会因为用户年龄长了一岁就变化

LR高配版 FM，FFM模型，这两个模型后续会写一篇单独的文章