特征选择之互信息

互信息（mutual information）是用来评价一个事件的出现对于另一个事件的出现所贡献的信息量

互信息公式

在对文本进行特征选择的时候，X表示某个词，Y表示类别，xi表示这个词的取值，在这里只有两种情况，出现和不出现，yi表示某一类，可能两类可能多类。

xi 和yi同时出现在整个数据集中的概率：

联合概率

xi在 整个数据集中出现的概率：

词概率

yi在这个数据集中出现的概率：

类概率

对文本特征提取xi的取值只能是出现和不出现两种情况

使用互信息理论进行特征抽取是基于如下假设:在某个特定类别出现频率高,但在其他类别出现频率比较低的词条与该类的互信息比较大。通常用互信息作为特征词和类别之问的测度，如果特征词属于该类的话，它们的互信息量最大。由于该方法不需要对特征词和类别之问关系的性质作任何假设，因此非常适合于文本分类的特征和类别的配准工作。

特征项和类别的互信息体现了特征项与类别的相关程度,是一种广泛用于建立词关联统计模型的标准。互信息与期望交叉熵的不同在于没有考虑特征出现的频率,这样导致互信息评估函数不选择高频的有用词而有可能选择稀有词作为文本的最佳特征。因为对于每一主题来讲，特征t的互信息越大，说明它与该主题的共现概率越大，因此，以互信息作为提取特征的评价时应选互信息最大的若干个特征。

互信息计算的时间复杂度类似于信息增益,互信息的平均值就是信息增益。互信息的不足之处在于得分非常受词条边缘概率的影响。

参考：http://blog.chinaunix.net/uid-20767210-id-1849628.html