[TOC]

第五章

课时27 基本统计

• 计数、求和、均值、方差etc

参考excel透视表中对应的一些计算方法

describe()
# size,sum,mean,var,std
data.score.describe()
data.score.size
data.score.max()
data.score.min()
data.score.sum()
data.score.mean()
data.score.var()
data.score.std()

# 稍微复杂的案例
#累计求和
data.score.cumsum()

#最大值和最小值所在位置
data.score.argmin()
data.score.argmax()

data.score.quantile(
    0.3, 
    interpolation="nearest"
)

课时28 分组分析

分析对象的聚类分群，对比差异性

• 数值分组
• 区域分组等

# groupby(by=[分组列1，分组列2，...)[统计列1，统计列2...].agg({统计列别名1:统计函数1，统计列别名2：统计函数2})
aggResult = data.groupby(
    by=['class']
)['score'].agg({
    '总分': numpy.sum, 
    '人数': numpy.size, 
    '平均值': numpy.mean
})

课时29 分布分析

• 等距或者不等距，研究各组分布规律
• 收入，年龄，消费

#cut
#groupby

课时30 交叉分析

• 多个分组变量形成交叉表，进行对比分析

• 定量、定量
• 定量、定性
• 定性、定性

# pivot_table(values, index,columns, aggfunc, fill_value)
# 数据透视表
# fill_value为NA数据的填充值
ptResult = data.pivot_table(
    values=['年龄'], 
    index=['年龄分层'], 
    columns=['性别'], 
    aggfunc=[numpy.size]
)

课时31 结构分析

• 组成部分的占比，分析内部特征

定性分组

• 性别、地区，市场占有率
• 股权

# axis
# 0:按列运算，1：按行运算

这里axis和前面3.3课时的时候的axis又会遇到纠结
drop(1,axis=0)是按行删除，但是apply(min,axis=0)是按列计算，如何统一？

自己的思考：看结果，如果值与dataframe的列数一致axis = 0，如果值与dataframe的行数一致axis=1.那么axis=0的结果是删除了第2(1+1,0起点)行，也就是删除的内容与列数一致。所以是列操作，稍微有点儿绕，求大神指点

• 外运算

• 内运算

• pandas默认按列计算--矩阵、向量

ptResult.div(ptResult.sum(axis=1), axis=0)

ptResult.div(ptResult.sum(axis=0), axis=1)

课时32 相关分析

随机变量的相互依存关系

• 线性
• 非线性

常见的线性关系为主要研究对象。

Pearson相关系数r来刻画线性相关程度：

• [0,0.3) 低度相关
• [0.3,0.8) 中度相关
• [0.8,1] 高度相关

广告投放和销售额；身高与体重

DataFrame.corr()
Series.corr(other)

$\rho=\frac{Cov(X,Y)}{\delta_{x}\delta_{y}}$
去除量纲后的“协方差”就是相关系数

课时33 RFM分析

定义

• 客户活跃度、交易金额来进行客户价值分群
• Recency(最近一次交易), Frequency(交易总次数), Monetray(交易总额)

• 3个维度，形成8个客群分类
• 经验公式：RFM评分=100*R_S+10*F_S+1*M_S

基本假设

• R:最近有过交易行为的客户，再次发生交易的可能性要高于最近没有交易行为的客户
• F:交易频率较高的客户比交易频率低的客户，更有可能再次发生交易行为
• M:过去所有交易总金额较多的客户，比交易总金额较少的客户，更有消费积极性

bins = aggData.MonetaryAgg.quantile(
    q=[0, 0.2, 0.4, 0.6, 0.8, 1],
    interpolation='nearest'
)
bins[0] = 0
labels = [1, 2, 3, 4, 5]
M_S = pandas.cut(
    aggData.MonetaryAgg, 
    bins, labels=labels
)

aggData.sort(
    ['level', 'RFM'], 
    ascending=[1, 1]
)
# python3.6运行后，错误，需要更换函数为sort_values
aggData.sort_values(
    ['level', 'RFM'], 
    ascending=[1, 1]
)

课时34 矩阵分析

根据事物重要性，进行关联分析

主要在于两个变量的选择，可视化的来分析多维度的分布情况，进而分析关联性