《统计学习方法》-逻辑斯蒂回归与最大熵模型

2018-11-16  本文已影响0人  Joe_WQ

date: 2018-1-23
逻辑斯蒂回归是一个比较经典的分类方法，最大熵模型是按照最大熵准则来进行分类的算法，两个都属于对数线性模型。

逻辑斯蒂回归

在二分类中的模型：
\begin{aligned} P(Y=1|X)&=\frac{exp(\omega X+b)}{1+exp(\omega X+b)}\\ P(Y=0|X)&=\frac{1}{1+exp(\omega X+b)} \end{aligned}
这里X\in \boldsymbol{R}^n是输入，Y\in \{0,1\}是输出，比较两个条件概率的大小，将实例x分到概率值大的那一类。这个公式对于求解问题不是很直观，将分类的概率变成对数几率或logit函数：
logit(p)=log\frac{p}{1-p}=\omega X+b，p表示事件发生的概率
这样的好处是直接对分布进行建模，避免了假设分布不准确所带来的问题。

采用极大似然法来估计\omega,b：
l(\omega,b)=\sum_{i=1}^{m}\ln p(y_i|x_i;w,b)
令\beta=(\omega;b),\hat{x}=(x;1)，则\omega^Tx+b可简写为\beta^Tx，最后得到：
l(\beta)=\sum_{i=1}^{m}(-y_i\beta^T\hat{x}_i+\ln(1+e^{\beta^T\hat{x}_i}))\\ \beta^*=\arg\min_\beta l(\beta)

最大熵模型

求出给定数据集的联合分布f(x,y)和边缘分布f(x)。

最大熵模型定义了在给定输入变量x时，输出变量y的条件分布：
P(y|x,\theta)=\frac{e^{\theta f(x,y)}}{\sum_{y\in M}e^{\theta f(x,y)}}
f(x,y)相当于约束条件，输入和输出的需要满足的条件，可以当作对输入和输出同时抽取的特征，分类效果还可以，但运行速度不理想。

在具体计算时，将条件分布转换成对偶问题进行的求解，过程比较复杂，感兴趣的可以看看《统计学习方法》。

上一篇 下一篇

猜你喜欢

热点阅读