一、Python数据分析之Pandas学习
一、什么是Pandas？
pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法,是python的一个数据分析包。
Pandas模块具有高性能、高效率和高水平，使之成为数据分析最有效的库。
二、Pandas的数据结构
pandas的数据结构中，常用的有Series和DataFrame两种
1、Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型，字符串、boolean值、数字等都能保存在Series中。
Series与List的区别是：List中的元素可以是不同的数据类型，而Series中则只允许存储有相同的数据类型，这样是为了更有效地的使用内存，提高运算效率。
2、Time- Series：以时间为索引的Series。
3、DataFrame：二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。
4、Panel ：三维的数组，可以理解为DataFrame的容器。
三、Pandas的IO功能
Pandas的IO功能十分强大，可以兼容许多文本文件，例如：csv、xml、HTML、xls、xlsx等
1、导入数据集的语法为：
pd.read_excel(filename) #导入Excel格式文件中的数据
pd.read_excel(filename) #导入Excel格式文件中的数据
2、创建Excel表
import pandas as pd #导入pandas模块，命名为pd
a = pd.DataFrame({'ID':[1, 2, 3],'User':['A', 'B', 'C']}) #创建ID列和User列
a = a.set_index('ID') #以ID为索引
print(a)
a.to_excel('D:\pandas\pytest.xlsx') #新建pytest.xlsx文件，将以上信息保持到该文件中
print('成功啦！')
运行结果：
1
2
3、查看数据框
data.info() #查看数据框（Data Frame）的索引、数据类型及内存信息
-
pytest.xlsx文件中的内容为：
3
- 查看数据框代码如下：
import pandas as pd
data = pd.read_excel('D:\pandas\pytest.xlsx')
data.info()
-
代码执行结果：
4
4、查看数据框行与列：
data.shape #查看数据框的行数和列数
import pandas as pd
data = pd.read_excel('D:\pandas\pytest.xlsx')
print(data.shape)
#运行结果：(3, 2)
5、查看数据前n行、中间某几行或后n行：
data.head(n) #查看数据框的前n行
data.tail(n) #查看数据框的后n行
data.iloc[a:b,c:d] #查看第a+1行到b行，c+1列到d列的数据
-
D:\pandas\pytest2.xlsx 文件内容如下：
5
import pandas as pd
data = pd.read_excel('D:\pandas\pytest2.xlsx')
print(data)
print("前2行的数据为：")
print(data.head(2))
print("后1行的数据为：")
print(data.tail(1))
print("2、3行与2、3列交叉的数据为：")
print(data.iloc[1:3, 1:3])
-
运行结果：
6
四、数据选取与清洗:
1、查看某一列的数据
data[col] #以数组Series的形式返回选取的列
- 查看某一列的数据
import pandas as pd
data = pd.read_excel('D:\pandas\pytest2.xlsx')
print("查看Name列的数据")
print(data['Name'])
7
- 查看某几列的数据（将想要查看的列名放在一个列表中）
import pandas as pd
data = pd.read_excel('D:\pandas\pytest2.xlsx')
print("查看Name列、age列的数据")
print(data[['Name', 'age']])
8
2、数据中非空值的处理
-
pytest3.xlsx文件中的内容为：
9
- 查看数据中的空值
data.isnull() #检查数据中空值出现的情况，并返回一个布尔值（True或False组成的列）
import pandas as pd
data = pd.read_excel('D:\pandas\pytest3.xlsx')
print(data.isnull())
10
- 查看数据框中的非空值
data.notnull() #查看数据框中的非空值
import pandas as pd
data = pd.read_excel('D:\pandas\pytest3.xlsx')
print(data.notnull())
11
- 移除数据框中的非空值
data.dropna(axis = 1) #移除数据框中包含空值的列
import pandas as pd
data = pd.read_excel('D:\pandas\pytest3.xlsx')
print(data.dropna())
12
- 替换数据框中的非空值
data.fillna(x) #将数据框中的所有空值替换为x
import pandas as pd
data = pd.read_excel('D:\pandas\pytest3.xlsx')
print(data.fillna('变身'))
13
3、数据框中值的替换
-
pytest4.xlsx文件的内容如下：
14
- 替换值
import pandas as pd
data = pd.read_excel('D:\pandas\pytest4.xlsx')
data2 = data.replace('变身', '0')
data2.to_excel('D:\pandas\pytest4.xlsx')
print('ok')
#运行结果：ok
-
代码运行后excel表格数据变为：
15
