逻辑斯谛回归与最大熵模型

逻辑斯谛回归与最大熵模型

首先介绍逻辑斯谛分布：

二项逻辑斯谛回归模型：

最大熵模型：

      最大熵原理是概率模型学习的一个准则。最大熵原理认为：学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表示为在满足约束条件的模型集合中选取熵最大的模型。最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是“等可能的”。最大熵原理通过熵的最大化来表示等可能性。