特征提取之pd.get_dummies()

2018-12-11  本文已影响0人  轰鸣龙

one-hot encoding

        one-hot的基本思想:将离散型特征的每一种取值都看成一种状态,若你的这一特征中有N个不相同的取值,那么我们就可以将该特征抽象成N种不同的状态,one-hot编码保证了每一个取值只会使得一种状态处于“激活态”,也就是说这N种状态中只有一个状态位值为1,其他状态位都是0。举个例子,假设我们以学历为例,我们想要研究的类别为小学、中学、大学、硕士、博士五种类别,我们使用one-hot对其编码就会得到:

dummy encoding

  哑变量编码直观的解释就是任意的将一个状态位去除。还是拿上面的例子来说,我们用4个状态位就足够反应上述5个类别的信息,也就是我们仅仅使用前四个状态位 [0,0,0,0] 就可以表达博士了。只是因为对于一个我们研究的样本,他已不是小学生、也不是中学生、也不是大学生、又不是研究生,那么我们就可以默认他是博士,是不是。所以,我们用哑变量编码可以将上述5类表示成:

以上转载自:离散型特征编码方式:one-hot与哑变量* - ML小菜鸟 - 博客园

pandas提供对one-hot编码的函数是:pd.get_dummies(),官网API

对官网提供的example进行测试,发现有以下几点需要注意的地方:

1、Series里的整数会按照one-hot进行编码,但是在DataFrame里面不会

2、特征的维度数量会有所增加

上一篇下一篇

猜你喜欢

热点阅读