逻辑回归算法（二）
2018-09-11 本文已影响1人
owolf
一、线型回归模型（Linear Regression）
为了更好的实现分类，逻辑回归诞生了。
[逻辑回归是假设数据服从Bernoulli（伯努利）分布，因此LR属于参数模型]
二、逻辑回归（LR）
通过在线性回归模型中引入Sigmoid函数，将线性回归的不确定范围的连续输出值映射到（0，1）范围内，成为一个概率预测问题。
1、如何求解模型的参数？
2、模型的优化-引入正则化
3、LR如何解决多分类问题？
注：softmax函数介绍
输出向量中拥有最大权重的项对应着输入向量中的最大值“4”。这也显示了这个函数通常的意义：对向量进行归一化，凸显其中最大的值并抑制远低于最大值的其他分量。
使用softmax的多分类与使用Sigmoid的二分类有什么区别与联系？
通过上面的推导可知，当多分类的K=2时，与使用Sigmoid的二分类是一致的。
4、LR如何解决线性不可分问题？
逻辑回归本质上是一个线性模型，但是，这不意味着只有线性可分的数据能通过LR求解，实际上，我们可以通过2种方式帮助LR实现：
（1）利用特殊核函数，对特征进行变换：把低维空间转换到高维空间，而在低维空间不可分的数据，到高维空间中线性可分的几率会高一些。
（2）扩展LR算法，提出FM算法。
更多详细内容参考：https://www.imooc.com/article/46843
