逻辑回归（Logistics Regression，LR）

参考文献
1 文墨
https://www.cnblogs.com/sparkwen/p/3441197.html
2 Andrew NG. Logistic Regression Classification

逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。

LR逻辑函数

逻辑函数 屏幕快照 2018-01-31 上午9.42.00.png

LR代价函数：

对于训练数据集，特征数据x={x₁, x₂, … , x_m}和对应的分类数据y={y₁, y₂, … , y_m}。构建逻辑回归模型f(θ)，最典型的构建方法便是应用极大似然估计。首先，对于单个样本，其后验概率为：

屏幕快照 2018-01-31 上午9.53.16.png

极大似然函数为：

屏幕快照 2018-01-31 上午9.53.50.png

log似然：

屏幕快照 2018-01-31 上午9.54.12.png 屏幕快照 2018-01-31 上午9.50.20.png

梯度下降

求逻辑回归模型f(θ)，等价于：

屏幕快照 2018-01-31 上午10.20.30.png

采用梯度下降法：

屏幕快照 2018-01-31 上午10.21.17.png

迭代θ至收敛即可：

屏幕快照 2018-01-31 上午10.22.09.png

将分类器用于分类多个目标

生成多个分类器，每个分类器为一个二元分类器，具体看图

屏幕快照 2018-01-31 上午10.51.41.png