《利用Python进行数据分析》-数据清洗工作

数据处理之前需要对数据进行清理工作，包含：

• 缺失值的去除drop
• 缺失值的填充fillna
• 删除重复数据duplicated()和drop_duplicates()
• 数据转换
• 索引重命名
• 数据离散化或面元化

---

缺失值的去除

pandas处理缺失值

• pandas默认的处理对象不包括缺失值
• NaN表示缺失数据；None值也可以作为NA
• isnull()函数查看哪些数据是缺失值
• dropna更实用，返回的是一个仅非空数据和索引值的S

image.png

string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])
string_data

# 结果
0     aardvark
1    artichoke
2          NaN
3      avocado
dtype: object

string_data[0] = None
string_data.isnull()

# 结果
0     True
1    False
2     True
3    False
dtype: bool

drop的使用

• 对于S：返回的是非空数据个索引值的Series

• 对于DF：默认丢弃含有任何缺失值的行和列
  

  image.png

• 处理Series

# 处理S
from numpy import nan as NA
data = pd.Series([1, NA, 3.5, NA, 7])
data.dropna()

# 上面等价于：本质上是将notnull函数的布尔值结果作为索引
# 布尔索引
data[data.notnull()]

image.png

• 处理DataFrame数据

# 处理DF数据
# 只要有缺失值，删除整个行数据
data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA],
                     [NA, NA, NA], [NA, 6.5, 3.]])
cleaned_data = data.dropna()
cleaned_data

image.png

注意：原数据data不变

# 参数how="all"：丢弃全部为NA的行
data.dropna(how="all")

image.png image.png image.png

# thresh=n：表示保留至少有n个不是NaN数据的行
df.dropna(thresh=3)

image.png

---

填充缺失值数据

• 不想滤除空值，想填充空值
• fillna(n)函数：表示将缺失值替换为n
• fillna默认返回新的对象，也可以原地修改，通过inplace=True

image.png
image.png

# 通过字典调用fillna，实现对不同的列填充不同的数据
# key表示列属性，value表示填充的数据
df.fillna({1: 0.5, 2: 0.25})

image.png

# 将原来的数据进行修改
_ = df.fillna(0, inplace=True)
df

image.png

# fillna中传入的参数是多样的，reindexing中的方法也适用
df = pd.DataFrame(np.random.randn(6,3))
df.iloc[2:, 1] = NA
df.iloc[4:, 2] = NA
df

# ffill填充的是上一个位置的元素
# 产生新的对象
df.fillna(method="ffill")

image.png

# limit表示最多填充的个数
df.fillna(method='ffill', limit=3)

# 填充数据的中位数或者说平均值
data = pd.Series([1., NA, 3.5, NA, 7])
data.fillna(data.mean())

image.png

---

删除重复数据

• duplicated()：检查是否有重复行（前面的行），返回布尔型S数据
• drop_duplicates()：返回的是DF，重复的数据标为False

data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],
                     'k2': [1, 1, 2, 3, 3, 4, 4],
                     'k3': [1, 5, 2, 6, 2, 5, 1]})
data

image.png image.png image.png