python学习笔记（一）Pandas:Series与DataF

传送门

• 十分钟掌握pandas中文版：https://blog.csdn.net/brook_/article/details/80791473
• 速查手册中文版： https://blog.csdn.net/qq_33399185/article/details/60872853

若无特殊说明，以下操作环境均在jupyter notebook中

1. 检查当前使用版本

import pandas
print(pandas.__version__)

若返回的非最新版本，可通过在cmd中输入指令升级

conda update pandas

系统会自动下载安装最新包，安装好后重启jupyter notebook即可

2. 读取文件（简）

• 一般先将所要读取的文件转为csv或者txt格式
• 文件路径格式：\\或者/
• 使用函数read_csv或者read_table，前者默认sep = ','，后者默认sep = '\t'（稍后作详细说明）
• windows环境中读取/导出文件时若出现编码问题，可尝试通过设置encoding = 'gbk'解决。（读取时也可先用记事本打开，另存为编码utf-8的文件）

  import pandas as pd 
  df = pd.read_csv('C:\\Users\\admin\\Desktop\\filename.csv', sep = ',')
  

3. Series

• 定义：一种类似于一维数组的对象，由一列数据和一列索引组成
• 创建：

  #第一种：默认索引
  import pandas as pd
  s1 = pd.Series(range(0,5))
  s1#图s1
  

  #第二种：字典转Series，key为索引
  import pandas as pd
  dic = {'a':0,'b':1,'c':2,'d':3,'e':4,'f':5}
  s2 = pd.Series(dic)
  s2#图s2
  

  #第三种：字符串转列表，元素为索引。若为单值，则填充所有索引位对应值
  import pandas as pd
  s3 = pd.Series(3, index = list('abcd'))
  s3#图s3
  

  返回

  
  s1.png
  s2.png
  s3.png
• 操作

  #选取
  s2['a']
  s2['a','c','d']
  
  #运算
  s2[s2 > 2] #筛选大于2的元素，返回包含索引
  s2 * 2 #对所有元素*2
  
  s2 + s3 #自动对齐，缺失值以NaN填充
  
  #判断
  'a' in s2
  
  #修改索引
  s3.index = ['e','f','g','h']
  
  #重新索引
  s3.reindex(['d','c','b','a','x'], methon = 'ffill' )
  
  #丢弃指定轴上的项
  s3.drop('a')
  
  #索引切片
  s3['b':'c'] #包含末端
  
  #排序和排名
  s3.order()
  s3.rank(methon = 'max', ascending = False)
  
  #唯一值
  s3.unique().sort()
  
  #值频率
  s3.value_counts()
  或
  pd.value_counts(s3.values, sort = False)
  
  #成员资格
  s3.isin(['a','b'])
  
  #过滤缺失值
  s3.dropna()
  

4.DataFrame

• 定义：二维（或高维）数据结构，每列数据类型可以不同，行和列都有索引
• 创建：

#第一种：等长列表或Numpy数组组成的字典
data = {'state' : ['Ohio','Ohio','Ohio','Nevada','Nevada'],
         'year' : [2001, 2001, 2002, 2001, 2002],
         'pop' : [1.5, 1.7, 3.6, 2.4, 2.9]}
frame = DataFrame(data, columns = ['year', 'state', 'pop'], index = ['one','two','three',' four','five'])
#如果传入的列在数据中找不到，则以NaN填充

#第二种：嵌套字典
pop = {'Nevada' : {2001: 12.4. 2002: 2.9}, 'Ohio' : {2000 : 1.5, 2001: 1.7, 2002: 3.6}}
frame2 = DataFrame(pop)

• 操作

#选取单列，返回Series
frame['state']
frame.year
#选取单行，返回Series
frame.ix['three']

#修改值
frame['state'] = 'Ohio'
frame['year'] = np.range(2000,2005)  #长度必须匹配
#如果传入的数组有索引，则按索引对应修改值

#为不存在的列赋值则产生新列
frame['state2'] = frame.state == 'Ohio'

#转置
frame.T

#重新索引
frame.reindex(index = ['two', 'one'], columns = ['year', 'others'], method = 'bfill')
#或
frame.ix[ ['two','one'], ['year', 'others']]

#丢弃指定轴上的项
frame.drop(['one','two'])
frame.drop('year', axis = 0)

#切片，即多行多列
frame[:2]
frame[frame['year'] > 2001]
frame.ix[:'three', 'year']
frame.ix[frame.year > 2001, :2]

#算术运算
df1 + df2 #行列同时对齐
df1.add(df2, fill_value = 0)

#广播
df - df.ix[0] #df所有行都会按列索引与df[0]相减
df.sub(df['a'], axis = 0)

#函数应用和映射
f = lambda x: x.max() - x.min()
df.apply(f) #对每一列最大值-最小值
df.apply(f, axis = 1) #对每一行 最大值- 最小值

format = lambda x: '%.2f' %x
frame.applymap(format) #元素级应用

#排序和排名
frame.sort_index(by = ['a','b'])
frame.sort_index(axis = 1, ascending = False)
frame.rank(axis = 1)#对每列内部排名

#描述统计
df.sum(axis = 1,skipna = False)
df.cusum()#累加
df.describe()

#相关系数和协方差
#略

#过滤缺失值
df.dropna(axis = 1, how = 'all')

#填充缺失数据
df.fillna(0)
df.fillna({'a':1,'b':2}) #不同列填充不同值
#注：fillna默认返回新对象，但也可以对现有对象就地修改：
_ = df.fillna(0, inplace = True)

#层次化索引
#略

#列与索引转换
df.set_index('a', drop = False) #列转为索引，保留列
df.reset_index() #索引转为列