第三章：数据探索

3.1餐饮销售额数据异常值检测

#3.1
import pandas as pd
cateringa_sale = 'D:\\chapter3\\demo\\data\catering_sale.xls'
data = pd.read_excel(cateringa_sale,index_col=u'日期')    #读取数据，指定日期列为索引列；

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['Simhei']    #用来显示中文字体
plt.rcParams['axes.unicode_minus'] = False      #用来显示正常负号

plt.figure()

# p = data.boxplot()
p = data.boxplot(return_type='dict') #画箱线图，直接使用DataFrame的方法

x = p['fliers'][0].get_xdata()
y = p['fliers'][0].get_ydata()
y.sort()

#用annotate添加注释
for i in range(len(x)):
    if i > 0:
        plt.annotate(y[i],xy=(x[i],y[i]),xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
    else:
        plt.annotate(y[i],xy=(x[i],y[i]),xytext=(x[i]+0.08,y[i]))

plt.show()

3_1.png

2数据特征分析

分布分析：分布分析能揭示数据的分布特征和分布类型；
定量数据的分布分析；

3Python主要数据探索函数：

python中用于数据探索的库主要是Pandas（数据分析）和Matplotlib（数据可视化）,其中，pandas提供了大量的与数据探索相关的函数，这些数据探索函数可大致分为统计特征函数和统计作图函数，而作图依赖于matplotlib，所以往往又会跟matplotlib结合在一起使用；

Pandas主要统计特征函数：

方法名	函数功能	所属库
sum()	计算数据样本的总和(按列计算)	Pandas
mean()	计算数据样本的算术平均数	Pandas
var()	计算数据样本的方差	Pandas
std()	计算数据样本的标准差	Pandas
corr()	计算数据样本的Spearman(Pearson)相关系数矩阵	Pandas
cov()	计算数据样本的协方差矩阵	Pandas
skew()	样本值的偏度（三矩阵）	Pandas
kurt()	样本值的峰值（四矩阵）	Pandas
describe()	给出样本的基本描述（基本统计量如均值、标准差等）	Pandas

• 拓展统计特征函数：除了上述的基本统计特征外，pandas还提供了一些非常方便实用的计算统计特征函数。主要有积累计算(cum)和滚动计算(pd.rolling_)

#销售相关性分析

from __future__ import print_function
import pandas as pd

catering_sale = 'D:\\chapter3\\demo\\data\\catering_sale_all.xls'


data = pd.read_excel(catering_sale,index_col=r'日期')     #读取数据

print(data.corr()) #相关系数举证、及给出了任何两款菜市之间的相关系数
print(data.corr()[u'百合酱蒸凤爪'])  #只显示“百合酱蒸凤爪”与其他菜式的相关系数
print(data[u'百合酱蒸凤爪'].corr(data[u'翡翠蒸香茜饺']))    #计算“百合酱蒸凤爪”和“翡翠蒸香茜饺”的相关系数

方法名	函数功能	所属库
cumsum()	依次给出1,2,3，……,n个数的和	Pandas
cumprod()	依次给出1,2,3，……,n个数的积	Pandas
cummax()	依次给出1,2,3，……,n个数的最大值	Pandas
cummin()	依次给出1,2,3，……,n个数的最小值	Pandas

• Pandas累计统计特征函数

方法名	函数功能	所属库
rolling_sum()	计算数据样本的总和（按列计算）	Pandas
rolling_mean()	数据样本的算术平均数	Pandas
rolling_var()	计算数据样本的方差	Pandas
……	……	Pandas

4.统计作图函数

统计作图函数绘制的图标可以只管地反映出数据及统计量的性质及其内在的规律
python的主要作图库是Matplotlib；

Python主要统计作图函数：

作图函数名	作图函数功能	所属工具箱
plot()	绘制线性二维图、折线图	Matplotlib/Pandas
pie()	绘制饼图形	Matplotlib/Pandas
hist()	绘制二维条形直方图,可显示数据的分配情形	Matplotlib/Pandas
boxplot()	绘制样本数据的箱型图	Pandas
plot(logy=True)	绘制Y轴的对数图形	Pandas
plot(yerr=error)	绘制误差条形图	Pandas

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

#正弦曲线图
x = np.linspace(0,2*np.pi,50)
y = np.sin(x)
plt.plot(x,y,'bp--')
plt.show()

plot.png

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
#饼图
labels = 'Frogs','Hogs','Dogs','logs'   #定义标签
sizes = [15,30,45,10]   #每一块的比例
colors = ['yellow','gold','lightskyblue','lightcoral']  #每一块的颜色
explore = (0,0.1,0,0)   #突出显示，这里仅仅突出显示第二块；
plt.pie(sizes,explode=explore,labels=labels,colors=colors,autopct='%1.1f%%',shadow=True,startangle=90)
plt.axis('equal')   #显示为圆
plt.show()

pie.png

#二维直方图
import matplotlib.pyplot as plt
import numpy as np
x = np.random.randn(1000)   #产生1000个服从正态分布的随机数
plt.hist(x,10)  #分成10组进行绘制直方图

plt.show()

hist.png

#箱型图
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
x = np.random.randn(1000)    #产生1000个服从正态分布的随机数
D = pd.DataFrame([x,x+1]).T     #构造两类的DataFrame
D.plot(kind='box')              #调用series内置的作图方法画图，用kind参数指定箱型图为box
plt.show()

box.png

#plot(logx=True)/plot(logy=True)
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']    #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False      #用来正常显示负号
import numpy as np
import pandas as pd

x = pd.Series(np.exp(np.arange(100)))
x.plot(label=u'原始数据',legend=True)
plt.show()

x.plot(logy=True,label=u'对数数据图',legend=True)
plt.show()

logx.png logy.png

#误差条形图
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']    #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False      #用来正常显示负号
import numpy as np
import pandas as pd

error = np.random.randn(10) #定义误差列
y = pd.Series(np.sin(np.arange(10)))  #均值数据列
y.plot(yerr = error)
plt.show()

error.png