数据预处理_缺失值

2020-04-08 本文已影响0人南有妖尾

一、缺失值处理

数据缺失主要包括记录缺失和字段信息缺失等情况，其对数据分析会有较大影响，导致结果不确定性更加显著
缺失值处理方法：
- 丢弃 → 删除
- 插补 → 均值、中位数、众数插补 / 临近值插补 / 插值法
- 不处理

# 设置cell多行输出

from IPython.core.interactiveshell import InteractiveShell 
InteractiveShell.ast_node_interactivity = 'all' #默认为'last'

# 导入相关库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import os
import warnings

warnings.filterwarnings('ignore')
os.chdir(r'E:\python_learn\data')

file_name = 'iris-data.csv'
iris_data = pd.read_csv(file_name,engine='python')
iris_data.head()

image.png

本次缺失值处理使用的数据集为修改过的鸢尾花卉数据，将对该数据集进行缺失值处理处理。其中，
sepal_length_cm为花萼长度
sepal_width_com为花萼宽度
petal_length_cm为花瓣长度
petal_length_cm为花瓣宽度
class为鸢尾花类别

通过这4个数据，能判断并分类出3种鸢尾花的类别。

# 查看数基本结构
iris_data.info()

# 一共150条数据，5个字段
# 从返回基本结构可以看到除了class字段，其他字段都含有缺失值

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 150 entries, 0 to 149
Data columns (total 5 columns):
sepal_length_cm    147 non-null float64
sepal_width_cm     148 non-null float64
petal_length_cm    144 non-null float64
petal_width_cm     144 non-null float64
class              150 non-null object
dtypes: float64(4), object(1)
memory usage: 5.9+ KB

# 缺失值判断
iris_data.isna().sum()

sepal_length_cm    3
sepal_width_cm     2
petal_length_cm    6
petal_width_cm     6
class              0
dtype: int64

1.1丢弃处理

（1）丢弃处理

→用pandas的dropna()方法，删除含NaN的行或列

删除带缺失值记录或列字段，虽减少缺失值对样本的影响，但也意味着减少数据特征。
！！面对以下2种情况不宜丢弃处理缺失值：
- 缺失值超过比例较大，超过10%
- 带缺失值的label标签主要集中于某一类或几类，删除会使样本丢失大量特征信息

iris_dropna_1 = iris_data.dropna()    # 缺失值删除处理
# 默认how=any，axis=0，行记录任意出现NaN就删除行记录

iris_dropna_1.isna().sum()  
iris_dropna_1.isna().sum().sum()  # 缺失值检查

sepal_length_cm    0
sepal_width_cm     0
petal_length_cm    0
petal_width_cm     0
class              0
dtype: int64

0

iris_dropna_2 = iris_data.dropna(how='all')  # 缺失值删除处理
# how=all，当整行记录都为NaN才删除记录

iris_dropna_2.isna().sum()  
iris_dropna_2.isna().sum().sum()  # 缺失值检查，发现并没有删除，表示不存在整行都为NaN的情况

sepal_length_cm    3
sepal_width_cm     2
petal_length_cm    6
petal_width_cm     6
class              0
dtype: int64

17

因本次演练数据集样本量较少，不选择删除缺失值的处理方法

1.2插补处理

当数据集不宜采用丢弃的方法处理缺失值时，可以使用插补的方法补全缺失值。

(1)均值/中位数/众数插补

→ pandas的fillna()方法

iris_fillna_1 = iris_data.fillna(iris_data.median())  # 在不确定是否存在异常值时，此处选择时候中位数填补
iris_fillna_1.isna().sum()

sepal_length_cm    0
sepal_width_cm     0
petal_length_cm    0
petal_width_cm     0
class              0
dtype: int64

→ sklearn.impute的SimpleImputer数据预处理方法

from sklearn.impute import SimpleImputer
iris_nan_model = SimpleImputer(missing_values=np.nan,strategy='median')   # 用中位数替换NaN
iris_nan_result = iris_nan_model.fit_transform(np.array(iris_data)[:,:4]) # 应用模型,数据以数组形式传入
iris_result = pd.DataFrame(iris_nan_result,columns=['sepal_length_cm','sepal_width_cm','petal_length_cm','petal_width_cm'])

iris_result.isna().sum()
iris_result.isna().sum().sum()

sepal_length_cm    0
sepal_width_cm     0
petal_length_cm    0
petal_width_cm     0
dtype: int64

0

(2)临近值插补

→pandas的fillna()方法，设置method参数；method=ffill,用前面值替换NaN；method=bfill,用后面值替换NaN

iris_data.head()
iris_fillna_2 = iris_data.fillna(method='ffill')
iris_fillna_2.head()

iris_result.isna().sum()
iris_result.isna().sum().sum()