初始逻辑回归（Python）

在前面的垃圾邮件分类中，可知贝叶斯起到了很好的作用，但是其是离散型的，效果就很好，对于连续型的特征，贝叶斯可以用高斯贝叶斯去实现，就是数据特征服从正态分布。但是效果没有离散型的好，是否还有其他算法可以实现连续性特征呢？当然有。

要处理连续性特征的得到概率值判断是哪一类问题的情况下，核⼼心问题是怎么去表达 𝒑(𝒙|𝒚) , 这⾥𝒙是连续性特征，𝑦是标签（垃圾/正常）

那么我们围绕这个问题展开如何计算这个概率。
该算法就是逻辑回归

逻辑回归的介绍

先来看看逻辑回归可以处理哪些分类问题，一些现实生活中常用的案例。

• 贷款违约情况（会违约/不会违约）
• 广告点击率问题（会点击/不会点击） CTR PREDICTION
• 商品推荐 （会购买/不会购买）
• 情感分析 （正面/负面）
• 疾病诊断（阴性/阳性）
  等其他分类问题
  下面来看一个分类问题

年龄	工资	学历	逾期
20	4000	本科	YES
25	5000	专科	NO
21	6000	本科	NO
25	5000	专科	YES
28	8000	本科	NO
27	7000	本科	？

学习输入到输出的映射f(X-Y) 其中 X表示特征值 （年龄，工资，学历） Y表示是否逾期

• X输入
• Y输出
  定义条件概率：P(y|x)
  PS:为什么不直接计算出Y的大小值去去判断是否逾期呢？
• 假设我们明确知道条件概率 𝑃(𝑌|𝑋)，怎么做分类？
• 怎么去表示 𝑃(𝑌|𝑋) ？这相当于⽤用模型来捕获输⼊入𝑋和输出𝑌之间的关系
  由于这是连续性变量X，那么如何可以得到概率𝑃(𝑌|𝑋)呢？
  连续性变量的得到Y用的是线性回归Y= 𝒘 𝜯 𝒙 + 𝒃。
  可不不可以⽤用线性回归来表示𝑃(𝑌|𝑋) = 𝒘 𝜯 𝒙 + 𝒃？ 为什什么？
  答：不可以，因为𝑃(𝑌|𝑋)是0~1之间的值，而 𝒘 𝜯 𝒙 + 𝒃的取值是负无穷到正无穷。
  既然又是连续性变量，结果又是0~1，那有没有办法让这两者相等呢，达到目的呢？
  也就是可不可以把线性回归 𝒘 𝜯 𝒙 + 𝒃 改进⼀一下使得值域映射到 0，1 区间
  来个彩蛋 ，到这里，我们知道逻辑回归是根据线性回归演变而来，那为什么叫逻辑回归呢？，答案下面揭晓
  是因为为了达到概率值0~1之间，给线性回归函数添加到逻辑函数里面，就可以实现我们想要的结果，所以才叫做逻辑回归 该逻辑函数也叫激活函数Sigmoid

逻辑函数

逻辑函数

image.png

Y= 1/(1+e^-x) 其中x就是𝒘 𝜯 𝒙 + 𝒃

image.png

最后可以总结成：

image.png