Python数据操作强大库 - pandas库之DataFram
我们在处理后台数据时最经常用到的结构就是二维表格的形式，而DataFrame工具可以帮助我们快速处理表格数据，可以以行为单位处理整行数据，也可以以列为单位处理一列的数据，是一个比较灵活处理数据的工具，在数据处理上有很大的实用性。
1.生成数据
1.1 设置DataFrame的index，columns以及values
例如：
data = DataFrame(np.arange(15).reshape(3,5),index=['one','two','three'],columns=['a','b','c','d','e'])
就可以生成类似下面的矩阵：
1.2 返回的数据为二维列表格式的：
例如：
获取数据查询后的列表数据后再转换：
employee_data = [x.to_dict() for x in data.items]
df = pd.DataFrame(employee_data)
可以对每一列重新命名：df.rename(columns=col_name, inplace=True)
对缺省值的填充：df.fillna('', inplace=True)
2.查询数据
2.1 获取特定列和行的数据
a['x'] 那么将会返回columns为x的列
a[0:3] 则会返回前三行的数据
2.2 通过标签来选择数据
a.loc['one']则会默认表示选取行为'one'的行；
a.loc[:,['a','b']] 表示选取所有的行以及columns为a,b的列
a.loc[['one','two'],['a','b']] 表示选取'one'和'two'这两行以及columns为 a,b的列
2.3 直接通过位置来过滤数据
a.iloc[1:2,1:2] 则会获取第一行第一列的数据
2.4 通过条件来过滤数据
a[a['one'].isin(['2','3'])] 表显示满足条件：列one中的值包含'2','3'的所有行（isin()选出特定列中包含特定值的行）
3.数据转换
pandas 中的to_dict 可以对DataFrame类型的数据进行转换
可以选择六种的转换类型，分别对应于参数 ‘dict’, ‘list’, ‘series’, ‘split’, ‘records’, ‘index’
3.1 转dict：默认的参数，形成 {column : {index : value}}这样的结构的字典，可以看成是一种双重字典结构, 查询方式为 ：data_dict[key1][key2]
3.2 转list: 结构为{column : [values]} ,访问方式：data_list[keys][index]
3.3 转series：结构为{column : Series(values)}
3.4 转split：结构:{index : [index], columns : [columns], data : [values]}
3.5 转records：最经常用[{column : value}, … , {column : value}],内层是将 原始数据的每行提取出来形成字典
3.6 转index：结构{index : {column : value}}
4.处理数据
4.1 对指定轴上的索引进行改变/增加/删除操作，返回原始数据的一个拷贝
reindex()方法
用法：a.reindex(index=['one','five'],columns=list(a.columns)+['d'])
4.2 合并操作
1. 可以对列表数据进行横竖合并：contact
用法：contact(a1,axis=0/1，keys=['xx','xx','xx',...])
参数解释：
a1表示要进行进行连接的列表数据,
axis=1时表横着对数据进行连接。axis=0或不指定时，表将数据竖着进行连接。
a1中要连接的数据有几个则对应几个keys
2. 将一行或多行数据连接到列表上
用法：append(a1[2:],ignore_index=True)
参数解释：
表示将a中的第三行以后的数据全部添加到原列表中
若不指定ignore_index参数，则会把添加的数据的index保留下来
若ignore_index=Ture则会对所有的行重新自动建立索引。
3. 当两个列表有相同的键值时，就可以类似SQL那样连接：
(1)内连接，pd.merge(a1, a2, on='key')
(2)左连接，pd.merge(a1, a2, on='key', how='left')
(3)右连接，pd.merge(a1, a2, on='key', how='right')
(4)外连接， pd.merge(a1, a2, on='key', how='outer')
5.统计数据
分组统计groupby
例如生成如下数据：
data={
'date':pd.date_range('20000101',periods=10),
'gender':np.random.randint(0,2,size=10),
'height':np.random.randint(40,50,size=10),
'weight':np.random.randint(150,180,size=10)
}
a=DataFrame(data)
我们对gender列进行分组统计height和weight：
用法：a.groupby('gender').sum()
得到如下结果：
还有其他的统计用法：
1.a.mean() 默认对每一列的数据求平均值；若加上参数a.mean(1)则对每一行求平均值；
2.统计某一列x中各个值出现的次数：a['x'].value_counts()；
3.对数据应用函数
a.apply(lambda x:x.max()-x.min())
表示返回所有列中最大值-最小值的差。
