逻辑斯谛回归

逻辑斯谛回归

模型定义

可以理解为逻辑斯蒂回归相比感知机模型多了一层sigmoid函数

sigmoid

参数估计
通过给定训练数据学习逻辑斯谛回归模型
就是确定w和b的过程

多项逻辑斯谛回归

上面的二项逻辑斯谛回归也可以推广到多项

“感知机模型、逻辑斯蒂回归、支持向量机”对比

感知机模型将分离超平面对数据分割，寻找出所有错误的分类点，计算这些点到超平面的距离，使这一距离和最小化，也就是说感知机模型的最优化问题是使得错误分类点到超平面距离之和最小化。

逻辑斯蒂回归是将分离超平面作为sigmoid函数的自变量进行输入，获得了样本点被分为正例和反例的条件概率，然后用极大似然估计极大化这个后验概率分布，也就是说逻辑斯蒂回归模型的最优化问题是极大似然估计样本的后验概率分布。

支持向量机的最优化问题是最大化样本点到分离超平面的最小距离。

三个算法的一些性能对比如下：

• 感知机模型计算简单，只需要计算错误样本点和标签的乘积对参数进行更新。其在线性可分的数据集中收敛，但在线性不可分的数据集中不收敛。
• 逻辑斯蒂回归相比感知机多了一层sigmoid函数，计算仍然十分高效。其在线性可分的数据集中不能收敛但可以加入正则化来使算法收敛，在线性不可分的数据集中可以较好的收敛。
• 支持向量机计算相对复杂，但因为其实凸优化问题，因此算法一定可以收敛。
• 感知机模型无法加入核方法映射到高维，而逻辑斯蒂回归和支持向量机都能通过核方法对低维不可分高维可分的数据集进行分类。

参考

《统计学习方法》
http://blog.csdn.net/sinat_26376671/article/details/45046319