逻辑回归的基本原理&深度学习_简版

2025-11-04 本文已影响0人斑马上树

温故而知新，可以为师也。

至于为什么要加入深度学习的对比，是想通过前沿算法的对比，体现出LR的优势与特点，以及深度学习可以期待的用途。

一、逻辑回归的基本原理

基本概念

odds，事件发生的概率比： $odds=\frac{P(y=1|x)}{P(y=0|x)} =\frac{p}{1-p}$ ，定义 $\ln odds = wx$ ，进一步可得 $p(y=1|x)= \frac{1}{1+e^{-z} } ，其中z=wx$ 。

损失函数

Gradient descent will converge into global minimum only if the function is convex.

Mean squared error（线性回归使用）适用于逻辑回归时，是一个非凸函数，无法取得全局最优，逻辑回归的损失函数定义为：

$Cost(h_{\Theta } (x),y)=-ylog(h_{\Theta } (x))-(1-y)log(1-h_{\Theta } (x))$

参数求解（最大似然法）

采用最大似然法求解，对数最大似然最大时，即损失函数最小。

假设有m个观测样本，设 $p_{i} =P(y_{i}=1|x_{i} )$ 为给定条件下得到 $y_{i} =1$ 的概率，则得到一个观测值的概率表示为 $P(y_{i} )=p_{i}^{y_{i} }{(1-p_{i})}^{1-y_{i}}$ ，得到对数似然函数： $lnL(w)=\sum_{1}^m(y_i*ln[h_{\Theta }(x_i)]+(1-y_i)*ln[1-h_{\Theta }(x_i)] )$

二、实际应用场景

少量样本（不易过拟合）、强调模型解释性的场景（如贷前，监管解释）、性能接近时选择简单的模型。

工业界Facebook使用 XGBOOST（提取特征） + LR（预测）的方式，好处在于：1、离散化，增强对异常值的鲁棒性，类似于传统评分卡的WOE分箱；2、XGBOOST离散化后进行特征交叉，由M+N个变量变为M*N个变量，进一步引入非线性，提升表达能力。

三、深度学习应用场景

总结：All models are wrong, but some are useful。

四、python代码

略。

附，参考资料：

1、【机器学习算法系列之二】浅析Logistic Regression，https://chenrudan.github.io/blog/2016/01/09/logisticregression.html

2、Logistic Regression — Detailed Overview，https://towardsdatascience.com/logistic-regression-detailed-overview-46c4da4303bc

3、机器学习在信贷风控建模中的优势和挑战，https://zhuanlan.zhihu.com/p/68804254

4、Gradient Descent for Logistic Regression Simplified – Step by Step Visual Guide（废话极多），http://ucanalytics.com/blogs/gradient-descent-logistic-regression-simplified-step-step-visual-guide/

逻辑回归的基本原理&深度学习_简版

猜你喜欢

热点阅读