python数据清洗：skiprows 、replace、mel

1. 抽样读取 1%

读取某 100 G 大小的 big_data.csv 数据

import pandas as pd
import numpy as np
df = pd.read_csv("big_data.csv",skiprows = lambda x: x>0 and np.random.rand() > 0.01)
print("数据的大小 {}.这里只展示其中的1%".format(df.shape))
#使用 skiprows 参数，x > 0 确保首行读入，np.random.rand() > 0.01 表示 99% 的数据都会被随机过滤掉；言外之意，只有全部数据的 1% 才有机会选入内存中。

2.使用replace

在某列上使用 replace 方法和正则，快速完成值的清洗。

d = {"customer": ["A", "B", "C", "D"],
"sales":[1100, "950.5RMB", "$400", " $1250.75"]}

df = pd.DataFrame(d)
df
#
customer    sales
0   A   1100
1   B   950.5RMB
2   C   $400
3   D   $1250.75

看到 sales 列的值，有整型，浮点型+RMB后变为字符串型，还有美元+整型，美元+浮点型。
我们的目标：清洗掉 RMB，$ 符号，转化这一列为浮点型。

df["sales"] = df["sales"].replace("[$,RMB]", "", regex = True).astype("float")
#使用正则替换，将要替换的字符放到列表中 [$,RMB]，替换为空字符，即 ""；
#最后使用 astype 转为 float
#
customer    sales
0   A   1100.00
1   B   950.50
2   C   400.00
3   D   1250.75
df["sales"].apply(type)#如果不放心，再检查下值的类型：
#
0    <class 'float'>
1    <class 'float'>
2    <class 'float'>
3    <class 'float'>

3、宽 数据 变成长 数据

d = {"district_code": [12345, 56789, 101112, 131415],
"apple": [5.2, 2.4, 4.2, 3.6],
"banana": [3.5, 1.9, 4.0, 2.3],
"orange": [8.0, 7.5, 6.4, 3.9]}
df = pd.DataFrame(d)
df
#
    district_code   apple   banana  orange
0   12345   5.2 3.5 8.0
1   56789   2.4 1.9 7.5
2   101112  4.2 4.0 6.4
3   131415  3.6 2.3 3.9

把apple banana orange这三列合并为一列？使用 pd.melt

df = df.melt(id_vars = "district_code",var_name = "fruit_name",value_name = "price")
df
#
district_code   fruit_name  price
0   12345   apple   5.2
1   56789   apple   2.4
2   101112  apple   4.2
3   131415  apple   3.6
4   12345   banana  3.5
5   56789   banana  1.9
6   101112  banana  4.0
7   131415  banana  2.3
8   12345   orange  8.0
9   56789   orange  7.5
10  101112  orange  6.4
11  131415  orange  3.9

4、转成datetime

给出year（年份）和 dayofyear（一年中的第几天），怎么转 datetime?

d = {"year": [2019, 2019, 2020],
     "day_of_year": [350, 365, 1]}
df = pd.DataFrame(d)
df
#
    year    day_of_year
0   2019    350
1   2019    365
2   2020    1
df["int_number"] = df["year"]*1000 + df["day_of_year"]
df
#
    year    day_of_year int_number
0   2019    350 2019350
1   2019    365 2019365
2   2020    1   2020001
df["date"] = pd.to_datetime(df["int_number"], format = "%Y%j")
df
#
    year    day_of_year int_number  date
0   2019    350 2019350 2019-12-16
1   2019    365 2019365 2019-12-31
2   2020    1   2020001 2020-01-01