逻辑回归

逻辑回归LR模型的总结

2018-12-04  本文已影响6人  小歪与大白兔
“逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,来达到将数据二分类的目的”

上面这句话是对逻辑回归的一个高度的概括,下面将详细的说一下这句话的含义。

一、逻辑回归的假设

逻辑回归有两个假设:

二、逻辑回归的损失函数

在逻辑回归中,最常用的是代价函数是交叉熵(Cross Entropy)


image.png
三、逻辑回归的求解方法

如何求损失函数的最优解呢?(注意损失函数指的是单个样本的损失,成本函数是全部样本的预测值和实际值之间的误差的均值)

交差熵是一个凸函数,所以依然可以用梯度下降法求解(传统方法)
通过上述过程可以得到一组最优的系数w,它确定了不同类别数据之间的分割线。

四、逻辑回归的目的

该函数的目的便是将数据二分类,提高准确率。

五、逻辑回归如何分类

逻辑回归作为一个回归(也就是y值是连续的),如何应用到分类上去呢。y值确实是一个连续的变量。逻辑回归的做法是划定一个阈值,y值大于这个阈值的是一类,y值小于这个阈值的是另外一类。阈值具体如何调整根据实际情况选择。一般会选择0.5做为阈值来划分。

六、对逻辑回归的进一步提问
1.逻辑回归在训练的过程当中,如果有很多的特征高度相关或者说有一个特征重复了100遍,会造成怎样的影响?
2.为什么我们还是会在训练的过程当中将高度相关的特征去掉?
七、逻辑回归的优缺点总结

优点

缺点:

补充梯度下降知识

一、梯度下降类别

因为就梯度下降本身来看的话就有随机梯度下降,批梯度下降,small batch 梯度下降三种方式,面试官可能会问这三种方式的优劣以及如何选择最合适的梯度下降方式。

二、梯度下降缺点:
三、如何解决梯度下降的缺点:引入自适应梯度优化法AdaGrad

后续学习理解后在进行更新

参考文献:# 逻辑回归的常见面试点总结

上一篇下一篇

猜你喜欢

热点阅读