特征选择__包裹型
2019-05-16 本文已影响0人
紫弟
包裹型--递归特征删除算法
把特征选择看做一个特征子集搜索问题，筛选各种特征子集，用模型评估效果。 典型的包裹型算法为 “递归特征删除算法”(recursive feature elimination algorithm)
比如用逻辑回归，怎么做这个事情呢？
- 用全量特征跑一个模型
- 根据线性模型的系数(体现相关性)，删掉5-10%的弱特征，观
察准确率/auc的变化 - 逐步进行，直至准确率/auc出现大的下滑停止
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
lg = LogisticRegression()
rfe = RFE(lg,n_features_to_select=2)
rfe.fit(data,target)
# names = db['feature_names']
# names为方差名称 ,round函数,保留函数
sorted(zip(map(lambda x:round(x,4),rfe.ranking_),names))
