pandas常用操作

1.pandas优势

便捷的数据处理能力

读取文件方便

封装了Matplotlib、Numpy的画图和计算

2.pandas主要的两种数据结构

1.Series

表示一维数据，会自动为这一维数据创建行索引。

创建series：index默认值为整数序列,也可自定义。

se = pd.Series([0.25,0.5,0.75,1.0])

se

0   0.25

1    0.50

2    0.75

3    1.00

dtype: float64

Series本身的属性有两种，index，values

se.index

RangeIndex(start=0, stop=4, step=1)

se.values

array([0.25, 0.5 , 0.75, 1. ])

排序：

使用series.sort_values(ascending=True)对内容进行排序

series排序时，只有一列，不需要参数

se.sort_values()

使用series.sort_index()对索引进行排序

se.sort_index()

2.Dataframe

既有行索引，又有列索引,类似于二维数组

行索引，表明不同行，横向索引，叫index

列索引，表名不同列，纵向索引，叫columns

创建Dataframe

pd.DataFrame(data)

pd.DataFrame.from_dict(data)

在已有的DataFrame中，增加N列

df.insert() 下标，字段名，添加数据

allow_duplicates=True:允许添加重复的列

df.insert(2,"C",[333,44,55])  

常用属性：

df.shape  得到dataframe是几行几列的元组

(3, 2)

df.index   DataFrame的行索引列表

RangeIndex(start=0, stop=3, step=1)

df.columns DataFrame的列索引列表

Index(['a', 'b'], dtype='object')

df.values  直接获取其中array的值,通过type函数，可得到

numpy.ndarray

df.values

array([[0, 0],

      [1, 2],

      [2, 4]], dtype=int64)

转置 T

df.T

    0 1 2

a  0 1 2

b  0 2 4

常用方法：

df.head()  如果不补充参数，默认前5行。填入参数N则显示前N行

df.tail()       如果不补充参数，默认后5行。填入参数N则显示后N行

DataFrame索引的设置

修改行列索引值，必须整体全部修改

li = ["A","B"]

df.columns=li

重设索引值

设置新的下标索引

reset_index(drop=False)

drop:默认为False，不删除原来索引，如果为True,删除原来的索引值

 index A B

0  0  0  0

1  1  1   2

2  2  2  4

以某列值设置为新的索引

set_index(keys, drop=True)

keys : 列索引名称或者列索引名称的列表

drop : boolean, default True.当做新的索引，删除原来的列

索引操作

直接使用行列索引(先列后行) 列是列名，如果是数字，按照行索引取值。

df['A'][2]

结合loc或者iloc使用索引

使用loc:只能指定行列索引的名字 先行后列

df.loc[0,'A':'B']

A     0

B    0

Name: 0, dtype: int64

使用iloc可以通过索引的下标去获取  先行后列

df.columns.get_indexer(["A","B"]) 获取列中指定字段的下标

df.index.get_indexer([1])   获取行中指定字段的下标

df.index[下标] 根据下标得行中指定字段

df.columns[下标]   根据下标得列中指定字段

df.iloc[1,0:2]

A    1

B    2

Name: 1, dtype: int64

使用ix组合索引

ix下标和名称组合索引

df.ix[1:3,"B"]

赋值操作

df.A = 1

df["A"] = 1

排序

对内容排序

使用df.sort_values(key=, ascending=)对内容进行排序

单个键或者多个键(放入列表中)进行排序,默认升序

ascending=False:降序

ascending=True:升序

df.sort_values(by="B",ascending=False)

对索引排序

使用df.sort_index对索引进行排序

DataFrame运算

算术运算

add()  进行数学运算加上具体的一个数字

df.A.add(1)

sub()   进行数学运算减上具体的一个数字

df.A.sub(1)

逻辑运算

逻辑运算符： <、 >、|、 &

df[(df.A>0)&(df.B<3)]

逻辑运算函数:

query(expr)

expr:查询字符串

df.query('A>0 & B<3')

isin(values1) 指定值是否在values1列表中

df.A.isin([1,2,3])

df.isin([1])

统计运算

 describe() 得到总计数，平均值，标准差，最小值，25%分位数值

50%分位数值（中位数），75%分位数值，最大值

df.describe()

统计函数

min(), max() , mean(), median(), var(), std()

idxmax()、idxmin() 求出最大值/最小值的位置

0 代表列求结果， 1 代表行求统计结果

df

    A B

0  1   0

1   1  2

2   1  4

df.max(1)

0 1

1    2

2    4

dtype: int64

df.idxmax(1)

0   A

1    B

2    B

dtype: object

df.idxmax(0)

A    0

B    2

dtype: int64

累计统计函数

cumsum计算前1/2/3/…/n个数的和

df["A"].cumsum()

0    1

1    2

2    3

cummax计算前1/2/3/…/n个数的最大值

cummin计算前1/2/3/…/n个数的最小值

cumprod计算前1/2/3/…/n个数的积

自定义运算

apply(func, axis=0)  按行或列进行计算

func:自定义函数

axis=0:默认是列,跨行，axis=1为行， 跨列进行运算

df.apply(lambda x: x.max() - x.min(),axis=0)

A    0

B    4

dtype: int64

applymap（func）不分行列，所有元素进行计算

df.applymap(lambda x: x+2)

pandas画图

DataFrame.plot(x=None, y=None, kind='line')  

x : label or position, default None 指x轴的标签或位置参数，

y : label, position or list of label, positions, default None

Allows plotting of one column versus another

kind : str  选择需要的图形，默认折线图

‘line’ : line plot (default) 折线图

‘bar’ : vertical bar plot 条形图

‘barh’ : horizontal bar plot横向条形图

‘hist’ : histogram 柱状图

‘pie’ : pie plot 饼图

‘scatter’ : scatter plot 散点图  需要传入columns方向的索引

df.plot.bar(x='A',y='B')

文件读取与存储

csv

读取：pandas.read_csv()

filepath_or_buffer:文件路径

sep：字符串，分割符，默认值为‘，’

delimiter ： str,default None 定界符，备选分隔符（如果指定该参数，则sep参数失效）

usecols:指定读取的列名，列表形式

names:添加表头，列表形式

encoding:编码格式，默认utf8

data = pd.read_csv("D:\\BaiduNetdiskDownload\\company_sql.csv",sep=",",encoding='gbk')

存储：pandas.to_csv()

filepath_or_buffer:文件路径

sep ：字符串，分隔符

colums=[],想存储的列

index= ,false,存储不需要行索引

header=false,存储不需要列索引

mode= a：追加 w：重写

data.head().to_csv("D:\\BaiduNetdiskDownload\\company.csv",columns=["companyId","companyFullName"],mode="a",index=False)

sql

读取pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)

sql：执行的sql语句

con：连接数据库操作，使用SQLAlchemy可以使用该库支持的任何数据库

index_col：要设置为索引的列

coerce_float：尝试将非字符串，非数字对象（如decimal.Decimal）的值转换为浮点，这对SQL结果集很有用

columns：从SQL表中选择的列名列表（仅在读取表时使用）

import pymysql

con = pymysql.connect(host="127.0.0.1",user="root",password="wuxin",db="test",charset="utf8")

data_sql = pd.read_sql(sql="select * from student",con=con)

存储：pandas.to_sql()

name: 输出的表名

con: 与read_sql中相同，数据库链接

if_exits： 三个模式：fail，若表存在，则不输出；replace：若表存在，覆盖原来表里的数据；append：若表存在，将数据写到原表的后面。默认为fail

index：是否将df的index单独写到一列中

index_label:指定列作为df的index输出，此时index为True

dtype: 指定列的输出到数据库中的数据类型。字典形式储存：{column_name: sql_dtype}。常见的数据类型有sqlalchemy.types.INTEGER(), sqlalchemy.types.NVARCHAR(),sqlalchemy.Datetime()等,如果不提供dtype,to_sql会自动根据df列的dtype选择默认的数据类型输出.

sqlalchemy 连接数据库模式：

'数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名?charset=utf8'

from sqlalchemy import create_engine

engine = create_engine(

    "mysql+pymysql://root:root@localhost:3306/test?charset=utf8")

data_sql.to_sql(name="student",con=engine,index=False,if_exists="append")

缺失值处理

先判断是否有缺失值NaN

pd.isnull(df) /pd.notnull(df)/df.isnull()/df.notnull()

存在缺失值nan, 并且是np.nan:

 1.直接删除 dropna(axis=0/1)

 2.替换缺失值 fillna(value, inplace=True)

    value：替换成的值

    inplace：

    True：会修改原数据

    False：不替换修改原数据，生成新的对象

若是特殊的符号值，如?等，

1 先替换'?'为np.nan

df.replace(to_replace=, value=)

to_replace:替换前的值

value:替换后的值

2.再进行缺失值的处理

数据离散化

离散化：把连续型数据切分为若干“段”，即把无限空间中有限的个体映射到有限的空间中去，以此提高算法的时空效率。

优势：①算法需要。②离散化可以有效地克服数据中隐藏的缺陷：使模型结果更加稳定。③降低时间、空间复杂度

流程：

对数据进行分组

自动分组：pd.qcut(data, bins)

自定义分组：pd.cut(data, bins)

对数据进行分组将数据分组 一般会与value_counts搭配使用，统计每组的个数

series.value_counts()：统计分组次数

对分好组的数据求哑变量

pandas.get_dummies(data, prefix=None)

data:array-like, Series, or DataFrame

prefix:分组名字

合并

concat 索引合并

pd.concat([data1,data2],axis=1)

data数据类型为Dataframe类型

按照行或列进行合并,axis=0为列索引，axis=1为行索引

merge进行按照键合并

pd.merge(left, right, how='inner', on=[左右共同字段], left_on=None, suffixes=('_x', '_y'))

可以指定按照两组数据的共同键值对合并或者左右各自

left: A DataFrame object

right: Another DataFrame object

how: inner，outer，left，right

left_on=None, right_on=None：指定左右键

suffixes：如果和表合并的过程中遇到有一列两个表都同名，但是值不同，合并的时候又都想保留下来，就可以用suffixes给每个表的重复列名增加后缀。

交叉表与透视表：

交叉表：交叉表用于计算一列数据对于另外一列数据的分组个数(寻找两个列之间的关系)

pd.crosstab(value1, value2)

透视表：

DataFrame.pivot_table([], index=[])

分组与聚合

分组与聚合通常是分析数据的一种方式，通常与一些统计函数一起使用，查看数据的分组情况

分组：

data.groupby(by，)

key：按key分组，多个key，用列表

as_index:true，false保存行索引

聚合：就是将分组后的数据，count/sum等。