逻辑回归的简单理解

之前看斯坦福Andrew Ng 大牛的课程，一直也没有进行总结，后续将一些基本模型总结一下，便于自己回顾。
先来谈一下Logit回归吧。逻辑回归是广义线性模型中的一类，常用于做分类预测。

1 故事的开头

现实中，我们可能对于一些事物所发生的概率需要进行较为精确的预测，预测的时候所依据的就是各个因素，也就是相关变量X=｛x1,x2,x3…..｝，而我们要预测的事件S的概率P一般来说介于[0，1]，甚至很多时候P仅仅是在0右边有轻微的变化，也就是说，我们的X已经发生了很大的变化了，但是P仍然看起来变化甚微，当然，你可以通过一些数据处理技术将微小区间变化映射到变化较大的范围内，但这不是我想讨论的，我们需要从本质去理解逻辑回归。

1.1 故事发生

因此，既然P本身能力不行，那人们就想法设法去构造一个与P相关的函数H(P)，当P发生较小变化时，H可以有较大的变化。于是，伟大的人类先构造出了如下等式：

1.2 故事背后

当然我只能从公式的角度去解释为何要这样做，无法揣测创造公式人的脑回路，因为这样的公式一定是多少日夜的尝试才做出如此美丽的构造。
变化趋势要明显，则对应到一阶导数变化明显， 为了尽可能使得gap影响度扩大，因此使用1/(P(1-P))来让结果浮动加剧,并且使得公式构造有意义，即上式。于是，对上式进行积分后可得：

这便是传说中的Logit变换！

2 高潮

既然得到了Logit变换，那么我们需要构建其与变量之间的关系，构建关系当然就是要先做出假设，因此，人们很自然地假设因变量P与自变量Xi为线性关系，即 P=β*X^T，X为特征向量，β为系数，上面的分析我们已经知道，x的变动不足以让P的变动很凸显，因此，可以带入得到的Logit变换公式中：

又因为：

因此P可表示为：

这就是传说中的Logit回归模型的原始样子啦。
当然说的更官方一些，上式用于二项分布的回归，也就是二分类问题。
那么对于多分类问题，其Logit回归原理一样，只是将其推广到多项式即可

3 后续

当然，模型我们是得到了，但是不能用啊，因为参数未知，不用担心，有点概率论或统计基础的童鞋自然联想到一大堆参数估计的方法，没错，Logit模型无论是二元还是多元，都可以用极大似然估计来做参数估计，计算方法就是一个套路，取log，然后求导，然后极值balabala.....。

我的博客 : https://NingSM.github.io

转载请注明原址，谢谢。