逻辑回归

线性回归模型公式：

逻辑回归模型公式：（包含了线性回归）

在条件下=1发生的概率为：

在条件下不发生的概率为：

事件发生与不发生的概率比（事件发生比odds）为：

如果事件发生的概率是,那么该事件的几率为。接下来将会对这个odds进行操作。

设非线性函数

对odds取对数得到：

假设有m个相互独立的观测样本，观测值分别为,设为给定条件下得到的概率，的概率为，所以得到一个观测值的概率为。因为各个观测样本相互独子，那么它们的联合分布为各边缘分布的乘积。

得到似然函数为：

似然函数的意思就是求在所有事件发生的odds概率乘积最大值下的参数值。n+1个参数。

对函数取对数得到：

接下来分别对这些参数求导，得到n+1个方程。接下来以对参数求偏导为例，

得出：，当梯度为0时可使得函数值最大，至此求得最优。