python数据处理笔记

2020-12-18 本文已影响0人火炬广场老大爷

主要记录一些常见python代码的笔记，尤其是pandas的函数使用，常年滚动更新。

0.注意数据格式

一定要查看数据格式，进行必要修改后再进行计算

查看方法：
df.dtypes
修改方法（以将客户编号这一列改成整数类型int为例）（使用astype函数）
data['客户编号'] = data['客户编号'].astype('int')

1.导入与导出

import pandas as pd  #导入pandas模块
f1 = pd.read_csv('D:\daima\shujuchuli\LTE_NRTM_areasubservice_HE_202012150000_P01_END.CSV')#导入CSV文件，文件名称开头不能是数字
df1=pd.DataFrame(data)#将导入的数据转为dataframe

print('----------------正在修改告警名称为正确名称--------------')#打印

data=input('请输入原始文件路径及完整名称')
data=pd.read_excel(data)#使用input方式读取excel

outdata=input('请输入导出文件路径及完整名称')
df2.to_excel(outdata,index=False)#使用input方式导出excel，如果index=False，则不输出列标题，否则默认输出列标题。

2.数据清洗

列提取

提取df1中‘首次统计开始’等列的数据，组成新的df1

cols=['首次统计周期开始','归属地市','对象','告警名称','无线原因','恢复类型','影响用户数']
df1=df1[cols]

修改时间

将时间格式从20201203这样的改成年月日

df1['首次统计周期开始']=pd.to_datetime(df1.首次统计周期开始, dayfirst=True)

def func(x):
    format_time=x.strftime("%Y{y}%m{m}%d{d}").format(y="年",m="月",d="日")
    return format_time
df1['首次统计周期开始']=df1['首次统计周期开始'].apply(func)

内容代替

把名称中的“小区名称”=用空格代替，达到将其删除的目的
df1['对象']=df1['对象'].str.replace('小区名称=','')
把“自动恢复”改成“已恢复”
df1['恢复类型']=df1['恢复类型'].replace(" 自动恢复","已恢复")

删除空格

df1['对象']=df1['对象'].str.strip()

数据分割

从数据中的“（”进行分割，并且只要分割后的第0列

df2= df1['告警名称'].str.split('(', expand=True)
df1['告警名称']=df2[0]

给空缺值赋值

把空缺值替换成定位中
df1['无线原因']=df1['无线原因'].fillna(value='定位中')

添加列

添加一列，标题写为“备注”，并将内容全部写上“华为”
df1['备注']='华为'

修改列名称

df1.columns=['时间','市','小区','关联规则','派单原因','hf','影响用户数','备注']

删除表格中的部分数据

删除感知劣化小区表格中的旧数据（目前为删除第3651行（数据索引3650）（及以后）

i=df2.shape[0]+1
i=i-3561
df2=df2.drop(df2.tail(i).index)

数据拼接

把df1拼到df2的下面，是向下拼接，如果向右拼接，就用axis=1
df2=pd.concat(objs=[df2,df1],axis=0,join="outer")

3.数据统计

求均值或最大值-groupby

求df5中的第三列的不同元素的第10列数据的均值。在原文件中，第三列为不同场景，第10列是时延数据，通过以下代码可以算出每个场景的平均时延数据。
df6=df5.groupby('3')['10'].mean()
如果我想求不同公司员工的平均年龄和平均薪水，可以按照下方的代码进行：
data.groupby("company").agg('mean')
据说还可以用groupby画图，以后再研究。

4.三板斧map、apply以及applymap

数据如下：

6ca56a1b67eff5b4f279ecf1b1a636c6_v2-656d29d7df031238286e085bfa50293b_720w.jpg
如果需要把数据集中gender列的男替换为1，女替换为0，代码应该这么写：
data["gender"] = data["gender"].map({"男":1, "女":0})
相对于map，apply能够传入功能更为复杂的函数。假设在数据统计的过程中，年龄age列有较大误差，需要对其进行调整（加上或减去一个值），由于这个加上或减去的值未知，故在定义函数时，需要加多一个参数bias，此时用map方法是操作不了的（传入map的函数只能接收一个参数），apply方法则可以解决这个问题。

def apply_age(x,bias):
    return x+bias

#以元组的方式传入额外的参数
data["age"] = data["age"].apply(apply_age,args=(-3,))

443f060e839b383aac60dddac9d9ccb3_v2-02953f865dcb6245f9482bf15855a013_720w.jpg

可以看到age列都减了3，当然，这里只是简单举了个例子，当需要进行复杂处理时，更能体现apply的作用。
假设现在需要对data中的数值列分别进行取对数和求和的操作，这时可以用apply进行相应的操作，因为是对列进行操作，所以需要指定axis=0。

# 沿着0轴求和
data[["height","weight","age"]].apply(np.sum, axis=0)

# 沿着0轴取对数
data[["height","weight","age"]].apply(np.log, axis=0)

applymap的用法比较简单，会对DataFrame中的每个单元格执行指定函数的操作，虽然用途不如apply广泛，但在某些场合下还是比较有用的。

b6531ea95d01fdda06561e8be7ddbbdd_v2-a3bb9abd38a47f7c17e56f677464f8d1_720w.jpg
现在想将DataFrame中所有的值保留两位小数显示：
df.applymap(lambda x:"%.2f" % x)