最大熵模型
2017-10-29 本文已影响39人
初七123
最大熵原理是统计学中的一般原理，将其应用到分类得到最大熵模型。
特征函数f(x, y)关于经验分布P(X, Y)的期望
特征函数f(x, y)关于经验分布P(X)和模型P(Y|X)的期望
模型能拟合训练数据集时成立
所以有 n 个特征函数，就可以由上式得到 n 个约束条件
定义最大熵模型
模型学习
上面的最大值问题可以转换为等价的最小值问题，即
这可以通过拉格朗日乘子法来求解
省略中间的计算过程可得
便可以得到最终的最大熵模型
参考
《统计学习方法》
