最大熵模型

一、最大熵原理

最大熵原理是一种选择随机变量统计特性最符合客观情况的准则。[1]

热力学第二定律说明，当一个热力学系统达到最后热平衡状态时，该系统的熵会达到最大值。[2]

类似地，在无外力作用下，事物总是朝着最混乱无序的方向发展，也就是熵最大的方向发展。在已知条件下，熵最大的事物，最可能接近它的真实状态。[3]

因此，在概率模型中，熵最大的模型是最好的模型[4]，最符合实际情况的模型。

二、最大熵模型

2.1、定义[4]

2.2、描述为最优化问题[4]

2.3、问题求解

最大熵模型的最终求解可以归结为最优化问题的求解，具体方法有通用迭代算法（Generative Iterative Scaling，GIS），改进的迭代尺度算法（Improved Iterative Scaling，IIS）。

三、参考

[1]、百度百科

[2]、《浅谈最大熵原理和统计物理学》，曾致远著

[3]、最大熵理论及其应用

[4]、《统计学习方法》，李航著