6、基于pandas的数据清洗

1、丢失的数据

• 有两种丢失数据：
  • None
  • np.nan(NaN)
• 两种丢失数据的区别
  • type(None) # None是对象类型
  • type(np.nan) # NAN 是浮点型

（1）为什么在数据分析中需要用到的是浮点类型而不是对象类型？

• 数据分析中会常常使用某些形式的运算来处理原始数据，如果原数据的空值为NAN类型，则不会干扰或者中断运算。
• NAN可用参加运算的
• None 是不可以参加运算的
• 在pandas中如果遇到了None类型的空值，pandas会自动将其转换为 Nan.

2、pandas处理空值操作

（1）导入相关包

import pandas as pd
from pandas import DataFrame,Series

（2）伪造一组数据（存在空值，在pandas中如果遇到了None类型的空值，pandas会自动将其转换为 Nan.

df = DataFrame(data=np.random.randint(0,100,size=(8,6)))
df.iloc[2,3] = None
df.iloc[3,4] = None
df.iloc[5,3] = None
df

image.png

2.1 方式一：对空值进行过滤

• 技术：isnull,notnull,any,all

（1）isnull()判断元素是否为空，notnull()判断元素是否不为空

df.isnull()

image.png

df.notnull()

image.png

（2） any：用来检测行或者列中是否存在True。

# 那些行中存在true.
# any：用来检测行或者列中是否存在True
df.isnull().any(axis=1)
# 将上面的boolean 值作为行索引
drop_index = df.loc[df.isnull().any(axis=1)].index   #即将要删除的行索引
df.drop(labels=drop_index,axis=0)

（3）all：用来检测行或者列中是否全部为True

# 找到不存在null的行
df.notnull().all(axis=1)
# 将boolean值作为行索引
df.loc[df.notnull().all(axis=1)]

image.png

（4）总结：

规律：

• isnull --> any
• notnull --> all

2.2 方式二：将缺失的行或者列进行删除

dropna:可以直接将缺失的行或者列进行删除

df.dropna(axis = 0)   # 0代表行，1代表列

image.png

2.3 方式三：对缺失值进行覆盖

fillna对缺失值进行覆盖

df.fillna(value=666)   # 用666填充空值

image.png

使用周围的数据进行填充

df.fillna(method='ffill',axis=1) #使用水平方向的向前填充
df.fillna(method='bfill',axis=1) #使用水平方向的向后填充
df.fillna(method='ffill',axis=0) #使用竖直方向的向前填充
df.fillna(method='bfill',axis=0) #使用竖直方向的向后填充

image.png

3、处理重复数据

(1) 生成一组带有重复数据的数据源（重复的行数据）

df = DataFrame(data=np.random.randint(0,100,size=(8,4)))
df.iloc[1] = df.iloc[5]
df.iloc[3] = df.iloc[6]
df

image.png

（2）使用drop_duplicates 处理重复数据

# 使用drop_duplicates    
df.drop_duplicates(keep='first')  # keep = 'first' 只保存第一次出现的重复行
df.drop_duplicates(keep='last')   # keep = 'last'  只保存最后一次出现的重复行
df.drop_duplicates(keep=False)   # keep = False  删除所有的重复行

4、处理异常数据

• 自定义一个1000行3列(A,B,C)取值范围为0-1的数据源，然后将C列中的值大于其两倍标准差的异常值清洗

df=DataFrame(data=np.random.random(size=(1000,3)),columns=['A','B','C'])
df

image.png

（1）判定异常值的条件

# 判定异常值的条件 
temp = df['C'].std()*2
df['C'] > temp

（2）对有异常值的行进行删除

df.loc[~(df['C'] > temp)]

image.png