Python异常值处理与检测
2017-07-05 本文已影响7531人
Kevin_bin
缺失值处理
pandas判断缺失值一般采用 isnull()，然而生成所有数据的true、false矩阵，对于庞大的数据很难一眼看出缺失数据的位置。
缺失值查看
测试数据采用了随机生成。
>>> import pandas as pd
>>> import numpy as np
>>> df = pd.DataFrame(np.random.randn(10,6))
>>> #生成区域随机数
>>> df.iloc[1:3,1] = np.nan
>>> df.iloc[5,3] = np.nan
>>> df.iloc[7:9,5] = np.nan
>>> df
0 1 2 3 4 5
0 -0.524651 -0.306484 0.921319 -1.752106 -0.593152 -0.109011
1 0.350563 NaN -0.511227 -0.893392 -0.362926 -0.567714
2 -0.696586 NaN -0.387368 0.431769 0.015262 -1.002748
3 0.029329 0.645159 0.880687 0.002313 0.000143 0.410978
4 1.086453 -0.183210 0.465487 0.204141 -0.827070 -0.227329
5 0.449833 0.870347 -0.285700 NaN -0.116068 -0.061469
6 0.054838 -0.000641 -2.127298 -0.375447 0.463457 0.263546
7 2.932326 -2.227659 -0.559444 0.080580 1.731467 NaN
8 1.417988 0.083318 -0.041332 1.350390 -1.236223 NaN
9 -1.549584 0.156260 0.846521 -0.087683 -0.171236 0.334471
- 判断数据是否存在缺失值：
isnull()
>>> #判断是否存在缺失值（矩阵中True表示此位置为缺失值、False表示非缺失值）
>>> df.isnull()
0 1 2 3 4 5
0 False False False False False False
1 False True False False False False
2 False True False False False False
3 False False False False False False
4 False False False False False False
5 False False False True False False
6 False False False False False False
7 False False False False False True
8 False False False False False True
9 False False False False False False
- 判断哪些”列”存在缺失值：
isnull().any()
>>> df.isnull().any()
0 False
1 True
2 False
3 True
4 False
5 True
dtype: bool
由此可以看出，第1、3、5列存在缺失值
- 只显示存在缺失值行的数据
>>> df[df.isnull().values==True]
0 1 2 3 4 5
1 0.350563 NaN -0.511227 -0.893392 -0.362926 -0.567714
2 -0.696586 NaN -0.387368 0.431769 0.015262 -1.002748
5 0.449833 0.870347 -0.285700 NaN -0.116068 -0.061469
7 2.932326 -2.227659 -0.559444 0.080580 1.731467 NaN
8 1.417988 0.083318 -0.041332 1.350390 -1.236223 NaN
只显示存在缺失值的行列，清楚的确定缺失值的位置。
缺失数据处理
对于缺失数据一般处理方法为滤掉或者填充.
- 滤除缺失数据：
dropna()
>>> df.dropna()
0 1 2 3 4 5
0 -0.524651 -0.306484 0.921319 -1.752106 -0.593152 -0.109011
3 0.029329 0.645159 0.880687 0.002313 0.000143 0.410978
4 1.086453 -0.183210 0.465487 0.204141 -0.827070 -0.227329
6 0.054838 -0.000641 -2.127298 -0.375447 0.463457 0.263546
9 -1.549584 0.156260 0.846521 -0.087683 -0.171236 0.334471
以上只显示了非缺失数据。
当只选择行里的数据全部为空时才丢弃时，可向dropna()传入参数how='all'，如果想以同样的方式按列丢弃，可以传入axis=1；
- 填充缺失数据：
fillna()
如果不想丢掉缺失的数据而是想用默认值填充这些缺失值，可以使用
fillna()函数，如果不想只以某个标量填充，可以传入一个字典如（fillna({})），对不同的列填充不同的值，
- 缺失值较多的特征处理
# 定义工资改变特征缺失值处理函数，将有变化设为Yes，缺失设为No
def set_salary_change(df):
df.loc[(df.salary_change.notnull()), 'salary_change'] = 'Yes'
df.loc[(df.salary_change.isnull(df)), 'salary_change'] = 'No'
print df
pd.df()print df
return df
data_train = set_salary_change(df)
- 缺失值较少的特征处理
把NaN直接作为一个特征，假设用0表示，实现如下：
df.fillna(0)
用均值填充
# 将所有行用各自的均值填充
data_train.fillna(data_train.mean())
# 也可以指定某些行进行填充
data_train.fillna(data_train.mean()['browse_his', 'card_num'])
用上下数据进行填充
# 用前一个数据代替NaN：method='pad'
data_train.fillna(method='pad')
# 与pad相反，bfill表示用后一个数据代替NaN
data_train.fillna(method='bfill')
用插值法填充
# 插值法就是通过两点（x0，y0），（x1，y1）估计中间点的值
data_train.interpolate()
用算法拟合进行填充
# 定义browse_his缺失值预测填充函数
def set_missing_browse_his(df):
# 把已有的数值型特征取出来输入到RandomForestRegressor中
process_df = df[['browse_his', 'gender', 'job', 'edu', 'marriage', 'family_type']]
# 乘客分成已知该特征和未知该特征两部分
known = process_df[process_df.browse_his.notnull()].as_matrix()
unknown = process_df[process_df.browse_his.isnull()].as_matrix()
# X为特征属性值
X = known[:, 1:]
# y为结果标签值
y = known[:, 0]
# fit到RandomForestRegressor之中
rfr = RandomForestRegressor(random_state=0, n_estimators=2000, n_jobs=-1)
rfr.fit(X,y)
# 用得到的模型进行未知特征值预测
predicted = rfr.predict(unknown[:, 1::])
# 用得到的预测结果填补原缺失数据
df.loc[(df.browse_his.isnull()), 'browse_his'] = predicted
return df, rfr
data_train, rfr = set_missing_browse_his(data_train)
当然，针对我们这里的数据，我们对那些缺失值不是很大的特征都采用方式5来填补其缺失值。即使用随机森林算法，利用数据表中某些没有缺失的特征属性来预测某特征属性的缺失值。将填补后的数据表保存。
