信息论

信息熵

  熵是接收的每条消息中包含的信息的平均量，被称为信息熵、信源熵、平均自信息量，为不确定性的量度。简而言之，越是确定的事，信息熵小，而越不确定的事信息熵越大。
  随机变量的熵值定义如下，

信息增益

  信息增益是指在原信息的基础上，知道新信息的条件下，信息确定性的提高。例如，一个人学习能力强不强的信息熵为，而一个人自律性强不强的信息熵为，则自律性对学习能力的增益为，理解为在知道自律性的情况下，对于一个人学习能力的判断更加准确，也就是信息熵的减小（纯度越高）。