2018-11-02 交叉熵的重要作用

在《智能时代》一书中，吴军老师有提到，交叉熵是衡量训练数据的分布于真实分布之间的相似度，交叉熵越大代表他们之间的相似度越低。

已知真实概率分布的情况下，衡量非真实概率分布的策略去消除系统不确定性所需要的努力。消除系统不确定性，即该系统确定已知。