数据分析-pandas数据处理清洗常用总结
利用pandas包进行数据分析时常见的操作有：
- 1.创建对象
- 2.查看对象
- 3.选择
- 4.缺失值处理
- 5.相关操作
- 6.合并
- 7.分组和分段
- 8.轴转换和数据透视表
- 9.时间序列
- 10.导入和保存数据
一、创建对象
- 创建Series
- 创建DataFrame
- 查看不同列的数据类型
- 改变索引列名
1.通过传递一个 list 对象来创建一个 Series
s=pd.Series([1,2,3,np.nan,6,8])
s
2.通过传递一个 numpy array，时间索引以及列标签来创建一个 DataFrame
numpy.random.randn()是从标准正态分布中返回一个或多个样本值。
numpy.random.rand()的随机样本位于[0, 1)中。
np.random.randint(0,7,size=10)生成0到7的随机整数
dates=pd.date_range('20130101',periods=6)
df=pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD'))
df
index和columns也可以在DataFrame创建后指定：
df.index=pd.date_range('20130101',periods=df.shape[0])
df.index=pd.date_range('20130101',periods=len(df))
另外，还可以指定某一列为索引
df = df.set_index('A', drop = True)
通过字典对象来创建一个 DataFrame
df2=pd.DataFrame({'A':1.,
'B':pd.Timestamp('20130102'),
'C':pd.Series(1,index=list(range(4)),dtype='float32'),
'D':np.array([3]*4,dtype='float32'),
'E':pd.Categorical(['test','train','test','train']),
'F':'foo'})
df2
另外，在原有数据df的基础上，可以创建一个新的数据框df3
df3=pd.dataframe()
df3['min']=df.min()
df3['max']=df.max()
df3['std']=df.std()
df3
或者按行进行汇总统计创建一个新的数据框df4
df4=pd.dataframe()
df4['min']=df.min(axis=1)
df4['max']=df.max(axis=1)
df4['std']=df.std(axis=1)
df4
轴为0的时候是对列的数据进行统计运算，比如shape[0]是行的个数，相当于一个完整的列有多少数据，df.min(axis=0)，求每一列的最小值。轴为1是对行的数据量进行统计。
3.查看不同列的数据类型
df2.dtypes
4.改变索引列名
df.rename(index=lambda x:x+5,columns={'A':'newA','B':'newB'})
二、查看数据
- 查看头尾的行数据
- 显示索引、列、底层的数据
- 统计
- 转置
- 按轴排序
- 按值排序
- 查看最大值的索引
- 格式化输出format
1.查看头尾的行数据
df.head()
df.tail(3)
2.显示索引、列、底层的数据
df.index
df.columns
df.values
注意，list(df)显示的是columns
3.统计
查看数据框的行数与列数:(shape[0]是行数shape[1]是列数)
df.shape
查看数据框 (DataFrame) 的索引、数据类型及内存信息:
df.info()
统计每一列非空个数
t.count()
统计某列有多少个不同的类用.nunique()或者len(set())，（统计某列不同类对应的个数用value_counts()，后面相关操作中会提到）
df.A..nunique()
len(set(df.A))
统计某列有哪些不同的类（使用value_counts()也可以显示，同时会显示各个类的个数）
df.A.unique()
统计某列是否有重复数据
df.A.is_unique
对于数据类型为数值型的列，查询其描述性统计的内容:
df.describe()
统计相关系数
df.corr()
4.转置
df.T
5.按轴排序
df.sort_index(0) 按行名排序
df.sort_index(1) 按列名排序
df.sort_index(axis=1,ascending=False)
6.按值排序
按行的值排序：
df.sort_values(by='20130101',axis=1)
按列的值排序：
df.sort_values(by='B')
按顺序进行多列降序排序
df.sort_values(['A','B'],ascending=False)
7.查看最大值的索引
df.idxmax(0) #显示所有列最大值所对应的索引
df.A.idxmax(0) #显示A列中最大值对应的索引
8.格式化输出format
“格式限定符”（语法是'{}'中带:号）,可以print相应格式的数据
print('{:.2%}'.format(0.12354))
金额千位分隔符
print('{:,}'.format(123456789))
print('{:.2f}'.format(31.31412))
三、选择
- 直接获取数据
- 通过标签进行选择 .loc[]
- 通过位置进行选择 .iloc[:,:]
- 布尔索引
- 设置赋值
1.直接获取数据（用于获取整行或者整列的数据），此处注意列名一定要大小写对应，否则无法取出数据
df['B']
df.B
选择两列
df[['A','B']]
通过切片获取行数据
df[0:3]
df['20130101':'20130103']
2.通过标签进行选择 .loc[]
标签的优点是可以多轴交叉选择（注意：iloc内部只能单独使用行标签选择行数据，选择某一列标签时前面需加：，）：
df.loc[dates[0]]
位置加标签(注意只能用：，不能使用类似0:2的切片)：
df.loc[:,['A','B']]
标签加标签：
df.loc['20130101',['A','B']]
获取一个标量：
df.loc['20130101','A']
3.通过位置进行选择 .iloc[:,:]
通过传递数值进行位置选择（选择的是行）,特别是选择单行的时候（注意：iloc内部只有一个值得时候是选择的行，选择某一列时列号前面需加：，），另外-1代表最后一列：
df.iloc[3]
选取除了最后三列之外的数据
df.lioc[:,:-3]
通过数值进行切片 位置加位置（区别于loc之处）
df.iloc[1:3,1:3]
通过制定一个位置的列表:
df.iloc[[1,2],[2,3]]
对行、列进行切片：
df.iloc[[0,1],:]
df.iloc[:,[0,1]]
获取特定的值:
df.iloc[1,1]
4.布尔索引
使用一个单独列的值来选择数据:
df[df.A>0]
df[df>0]
选择A列中以a开头的行或列(假设此处的A列是字符串型数据)
df[df.A.str.startswith('a')]
使用 isin()方法来过滤:
df['E']=['one','one','two','there','four','there']
df[df.E.isin(['two','four'])]
5.赋值
①通过标签设置新的值
df.loc['20130101','A']=1
df
如果赋值的标签不存在，则产生新的列（行），未赋值的位置用空值填充
t.loc['20130101','H']=3
t
②通过位置设置新的值
df.iloc[0,0]=2
df
③设置整列值（len可以求表格数据的行数）：
df.loc[:,'D']=np.array([3]*len(df))
df
或者
df['D']=np.array([3]*len(df))
df
④通过布尔索引赋值
df2=df.copy()
df2[df2>0]=-df2
df2 #全部转化为负数
四、缺失值处理
- 删除列的方法
- 去掉包含缺失值的行，不改变原来的值
- 对缺失值进行填充
-
对数据进行布尔填充
查看每一列有多少缺失值：
df.isnull().sum()
查看每一列有多少完整的数据
df.shape[0]-df.isnull().sum()
1.删除列的方法:
df.drop(df.columns[4],axis=1,inplace=True) #不知道列名时
df.drop(‘E’,axis=1,inplace=True) #根据列名删除
或
del df['E']
2.去掉包含缺失值的行，不改变原来的值
df.dropna() #不返回df还是原值
df.dropna(how='all') #删除所有均为空值的行
df.dropna(inplace=True) #返回删除后的
移除数据框 DataFrame 中包含空值的列
df.dropna(axis=1)
3.对缺失值进行填充（如果填充后需要保存，需加inplace=True）:
df.fillna(value=5)
将所有空值替换为平均值
df.fillna(df.mean())
4.对数据进行布尔填充
pd.isnull(df)
五、相关操作
- 统计行列平均值
- Apply – 对数据应用函数
- 计数 value_counts()
- 字符串大小写转换
- 数据类型转换
- 替换
1.统计行列平均值
按列统计平均
df.mean()
对平均值取整
round(df.mean())
按行统计平均
df.mean(1)
2.Apply – 对数据应用函数
其中注意临时函数lambda的使用
df.apply(lambda x:x.max()-x.min())
df.apply(np.mean) 按行统计axis=1
df.apply(np.max,axis=1)
另外可以通过def 定义函数，再使用apply，例如下面数据的第一列，时间为2061年，存在明显错误，可以通过创建函数去修复这个错误
data = pd.read_table(path6, sep = "\s+", parse_dates = [[0,1,2]])
data.head()
import datetime
def fix_century(x):
year = x.year - 100 if x.year > 1989 else x.year
return datetime.date(year, x.month, x.day)
data['Yr_Mo_Dy'] = data['Yr_Mo_Dy'].apply(fix_century)
data.head()
3.计数 value_counts()
s=pd.Series(np.random.randint(0,7,size=10))
s.value_counts()
DataFrame查看某一列类别数据各类的个数：
df2.E.value_counts()
DataFrame查看所有列的各类统计个数
df2.apply(pd.Series.value_counts)
4.字符串大小写转换
s=pd.Series(['One','Two'])
s.str.lower()
5.将DataFrame的格式转化为浮点数
df.astype(float)
6.替换
df.replace(4,'one')
六、合并
- concat (不通过键值之间的连接)
- merge 类似于 SQL 类型的连接（ join）☆
- Append ---- 类似于 SQL 中 union
1.concat （默认上下连接，axis=1时左右连接）
df=pd.DataFrame(np.random.randn(10,4))
df
pieces=[df[:1],df[6:7]]
pd.concat(pieces)
2.merge 类似于 SQL 类型的连接（ join）
根据键连接
merge与concat的区别在于，merge需要依据某一共同的行或列来进行合并
left=pd.DataFrame({'key':['foo','foo1'],
'lval':[1,2]})
left
right=pd.DataFrame({'key':['foo','foo2'],
'rval':[4,5]})
right
pd.merge(left,right,on='key')
左连接left，右连接right，外连接outer 默认是inner
pd.merge(left,right,on='key',how='left')
3.Append 将一行连接到一个 DataFrame 上
专门用于上下按照同列名连接---- 类似于 SQL 中 union
append是concat的简略形式,只不过只能在axis=0上进行合并
df=pd.DataFrame(np.random.randn(5,4),columns=list('ABCD'))
df
s=df.iloc[1,:]
df.append(s,ignore_index=True)
七、分组和分段
- 分组（对数据进行分组汇总统计，类似数据透视表）
- 通过多个列进行分组形成一个层次索引
- 分段（对数据进行分段或者分箱切割，可用于连续变量的特征处理，例如woe）
df=pd.DataFrame({'A':['foo','bar','foo','bar','foo','bar','foo','bar'],
'B':['one','two','three','four','two','two','one','three'],
'C':np.random.randn(8),
'D':np.random.randn(8)})
df
1.分组，并对每个分组执行 sum/count/mean/median（中位数）等函数
df.groupby('A').sum()
df.groupby('A').agg(np.sum)
df.groupby('A').agg({'C':sum,'D':sum})
分组求平均值、最大值、最小值
df.groupby('A').C.agg(['mean','max','min'])
按A中类的个数对C求平均值
df.groupby('A').agg({'C':sum})['C'].mean()
2.通过多个列进行分组形成一个层次索引
df.groupby(['A','B']).sum()
3.分段（分箱）
有两种：pd.qcut与pd.cut
按变量取值范围进行均匀分割cut
cut11=pd.cut(df1["可用额度比值"],4)
cut11.head()
按变量个数进行均匀分割qcut
cut11=pd.qcut(df1["可用额度比值"],4)
cut11
cut11=pd.qcut(df1["可用额度比值"],4,labels=False)
cut11.head()
八、轴转换和数据透视表
- Stack堆栈
- 数据透视表
1.Stack堆栈
tuples=list(zip(*[['bar','bar','baz','baz','foo','foo','qux','qux'],['one','two','one','two','one','two','one','two']]))
index=pd.MultiIndex.from_tuples(tuples,names=['first','ssecond'])
df=pd.DataFrame(np.random.randn(8,2),index=index,columns=['A','B'])
df
stacked=df.stack()
stacked
stacked2=stacked.unstack()
stacked2
stacked3=stacked2=stacked.unstack(0)
stacked3
stacked4=stacked2=stacked.unstack(1)
stacked4
2.数据透视表
pd.pivot_table()
df=pd.DataFrame({'A':['one','one','two','three']*3,
'B':['A','B','C']*4,
'C':['foo','foo','foo','bar','bar','bar']*2,
'D':np.random.randn(12),
'E':np.random.randn(12)})
df
pd.pivot_table(df,values='D',index=['A','B'],columns='C')
df.pivot_table(df,index=['A','B'],columns=['C'],aggfunc=np.sum)
九、时间序列
- 针对时间频率重采样
- 时间类型转换
- 时间采样分组
- 时间筛选问题
1.针对时间频率重采样
首先创建一个采样后的时间序列：
rng=pd.date_range('20120101',periods=61,freq='S')
rng
序列或者索引为时间时，可以使用.resample()重置采样频率
ts=pd.Series(np.random.randint(0,500,len(rng)),index=rng)
ts.resample('1Min',how=sum)
另外采样频率还有：
W weekly frequency
M 每月最后一天
BM 每个月最后一个工作日
2.将int64型数据转化成datetime数据
crime.info()
crime.head()
crime.Year = pd.to_datetime(crime.Year, format='%Y')
crime.info()
crime.head()
3.按时间采样结果分组
例如我们获得一组数据索引是每一年
按如果想按十年进行分组查看数据情况，即进行时间分组求和，可以使用重采样
crimes = crime.resample('10AS').sum()
另外，人口不能按十年的直接相加，使用10年内的最大值汇总，在上述基础上更新population列
population = crime['Population'].resample('10AS').max()
crimes['Population'] = population
4.时间筛选问题
通过创建时间分列字段，进行取样统计计算，此方法优点是配合query可以实现灵活取样
例如，如下，计算每一列一月份的平均值
可以先将时间字段分列，相当于创建了辅助列
data['date'] = data.index
data['month'] = data['date'].apply(lambda date: date.month)
data['year'] = data['date'].apply(lambda date: date.year)
data['day'] = data['date'].apply(lambda date: date.day)
data.head()
再筛选计算
january_winds = data.query('month == 1')
january_winds.loc[:,'RPT':"MAL"].mean()
按年进行取样
data.query('month == 1 and day == 1')
按月取样
data.query('day == 1')
时间差，两个日期之间可以相减，并求对应月数和天数
(data.max() - data.min()).days
十、导入和保存数据
- CSV
- Excel
1.导出
df.to_csv('foo.csv')
df.to_excel('foo.xlsx')
df.to_sql(table_name,connection_object) # 将数据框 (DataFrame)中的数据导入SQL数据表/数据库中
df.to_json(filename) # 将数据框 (DataFrame)中的数据导入JSON格式的文件中
2.导入：
pd.read_csv('foo.csv')
pd.read_excel('foo.xlsx')
pd.read_sql(query, connection_object) # 导入SQL数据表/数据库中的数据
pd.read_json(json_string) # 导入JSON格式的字符，URL地址或者文件中的数据
另外一种常用导入方式
path3 ='../input/pandas_exercise/exercise_data/drinks.csv' #'drinks.csv'
drinks = pd.read_csv(path3)
3.文件导入参数
在读取文件时考虑到格式问题，会使用一些参数进行调整。
参考：https://www.cnblogs.com/datablog/p/6127000.html
sep指定分隔符。如果不指定参数，则会尝试使用逗号分隔。
其中，会用到正则表达式，可以参考：https://baike.baidu.com/item/%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F/1700215?fr=aladdin
\s ->匹配任何空白字符，包括空格、制表符、换页符等
\f -> 匹配一个换页
\n -> 匹配一个换行符
\r -> 匹配一个回车符
\t -> 匹配一个制表符
\v -> 匹配一个垂直制表符
+->匹配前面的子表达式一次或多次(大于等于1次）。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。
“\s+”则表示匹配任意多个上面的字符。
data = pd.read_table(path6,sep = '\s+')
data.head()
parse_dates 可以将指定的列转化为时间
data = pd.read_table(path6, sep = "\s+", parse_dates = [[0,1,2]])
data.head()
