pandas常用技巧汇总
2021-01-05 本文已影响0人
这个太难了
写在前面
这篇文章没有任何理论，只是记录一些可能用得上的技巧
参考：https://zhuanlan.zhihu.com/p/90925476
1、读取数据
import pandas as pd
df = pd.read_csv("1.csv", header=0)
2、保存数据
指定编码格式，不然容易出现中文乱码
index=None：去掉索引
df.to_csv("filename.csv", encoding="utf_8_sig", index=None)
3、删除某一列/某一行【索引为0的行】
inplace： 默认为False，不修改原数据， 返回一个新数据，如果设置为True，则是修改原数据
df.drop(['列名'],axis=1,inplace=True)
df.drop(index=0,inplace=True)
4、连接多个dataframe
事先存在df1、df2、df3三个dataframe
指定axis=0表示列连接，axis=1，行连接
df = pd.concat([df1,df2,df3],axis=0)
5、取出指定列的数据
subData = df[['col1','col2','col3']]
6、将字符串转为浮点型或者整型
景：我拿到了一些销售数据，其中包含销售金额，和门店价格，但是数据是字符串形式的【标准的金额展示形式1,234.00 中间会有逗号分隔】
df['售价'] = df['售价'].str.replace(",","").astype(float)
7、分组->dataframe
参考：https://zhuanlan.zhihu.com/p/101284491
场景：统计公司下有多少分店及其销售额，分店存在重复的【因为存在货类字段，导致不同货类也会出现相同分店，所以出现分店重复】
- reset_index()：重置索引
- 聚合之后未使用reset_index()
pgroup.agg({'售价':'sum'})
使用reset_index
pgroup.agg({'售价':'sum'}).reset_index()
这样之后就可以再在这基础上进行分组分析，最终得到如下代码
group = df.groupby(['分店所属公司','分店名']) # 这里我是用两列来做分组，根据自己的实际需求来实现
res = group.agg({'售价':'sum'}).reset_index().group("分店所屬公司").agg({'分店名':'count','售价':'sum'}).reset_index()
res.rename(columns={'分店所属公司':'公司', '分店名':'门店数', '售价':'销售额'}, inplace = True) # 替换列名
res
8、按条件提取
df = df[df['discount']<0.9]
9、解决可视化中文乱码问题
from pylab import mpl
#mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['font.sans-serif'] = ['Microsoft YaHei'] # 指定默认字体：解决plot不能显示中文问题
mpl.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题
10、修改列名
df.rename(columns={'old_col1':'new_col1', 'old_col2':'new_col2', 'old_col3':'new_col3'}, inplace = True)
11、根据时间按周分组
参考：https://blog.csdn.net/weixin_26711425/article/details/109069732
# 因为在这里时间是字符串，所以需要先转换一下
dt["操作時間"] = pd.to_datetime(dt["操作時間"])
# 按周分组，下边这种操作是从已有日期中从周一开始，默认W是从周末开始【所以会导致，如果日期开始时间不是周一或者周末的，将导致无法选中】。
dtGroup = dt.groupby([pd.Grouper(key='操作時間', freq='W-MON')])
12、数据处理，去除空格
df.replace('\s+','',regex=True,inplace=True)
13、读取分组数据
fg = df.groupby(['col1','col2',...])
for i, (group, dataframe) in enumerate(fg):
print(group)
14、按指定条件替换数据
df.loc[df['分店']==0]="63998"
15、查看数据是否有nan等
# 查看每一列是否有NaN：
df.isnull().any(axis=0)
# 查看每一行是否有NaN：
df.isnull().any(axis=1)
# 查看所有数据中是否有NaN最快的：
df.isnull().values.any()
16、替换nan、inf
df.replace(np.nan, 0, inplace=True)
df.replace(np.inf, 0, inplace=True)
17、数据合并
参考：https://blog.csdn.net/qq_41853758/article/details/83280104
# df,right是分别两个dataframe，on：是指通过这两个dataframe中的哪个字段来连接，可以是多个字段
res = pd.merge(df, right, how='left', on="分店")
18、分组去重统计
group = df.groupby('col1')
group.agg({"col2":"count", "col3":pd.Series.nunique})
实例
# 加盟商数据文件 2020.csv
fc = pd.read_csv("franchise2020.csv",header=0)
fc1 = fc[['所属公司','区域名称','分店全称']]
fc1 = fc1.drop_duplicates(keep='first')
fcG = fc1.groupby('所属公司')
fcG.agg({"区域名称": pd.Series.nunique, "分店全称": pd.Series.nunique}).reset_index().to_csv("test.csv",encoding="utf-8-sig",index=None)
19、df.drop_duplicates去重
drop_duplicates(subset=['A','B'],keep='first',inplace=True)
代码中subset对应的值是列名，表示只考虑这两列，将这两列对应值相同的行进行去重。默认值为subset=None表示考虑所有列。
- keep='first'表示保留第一次出现的重复行，是默认值。keep另外两个取值为"last"和False，分别表示保留最后一次出现的重复行和去除所有重复行。
- inplace=True表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本。
将副本赋值给dataframe：
data=data.drop_duplicates(subset=None,keep='first',inplace=False)
20、对数据进行排序
df.sort_values("col",ascending=False)
21、日期只要年月日
df['just_date'] = df['dates'].dt.date
22、agg函数的基础使用
group = df.groupby(['col1','col2'])
group.agg({"二级批发价":sum})
