信息熵与基尼指数的关系
2018-10-15 本文已影响1人
0过把火0
序
熵的概念中有信息熵、信息增益、信息增益比、基尼指数，这些统统作为决策树分裂的依据，其中，我们需要知道信息熵与基尼指数的关系。
信息熵与基尼指数的关系
-
首先看二者的定义：
将 f(x) = −lnx 在 x = 1 处进行一阶泰勒展开（忽略高阶无穷小）：
因此，熵可近似转化为：
基尼指数是信息熵中﹣logP 在P = 1处一阶泰勒展开后的结果！所以两者都可以用来度量数据集的纯度，用于描述决策树节点的纯度！
