信息熵

2019-09-29 本文已影响0人 wzNote

信息熵

熵是对平均不确定性的度量
$H(X)=-\sum_{x\in X} P(x)\cdot \log P(x)$

互信息

得知特征Y的信息而使得对标签X的信息的不确定性减少的程度
$I(X;Y)=\sum_{x \in X}\sum_{y \in Y}P(x,y)\log \frac{P(x,y)}{P(x)P(y)}$
可以用于衡量两个概率分布的相似性

python计算信息熵

def calc_ent(x):
    """
        calculate shanno ent of x
    """
    x_value_list = set([x[i] for i in range(x.shape[0])])
    ent = 0.0
    for x_value in x_value_list:
        p = float(x[x == x_value].shape[0]) / x.shape[0]
        logp = np.log2(p)
        ent -= p * logp
    return ent

上一篇下一篇

猜你喜欢

热点阅读