Python关联分析

一、理论知识概述

• 一个样本称为一个“事务”
• 每个事务由多个属性来确定，这里的属性称为“项”
• 多个项组成的集合称为“项集”

X==>Y含义：

• X和Y是项集
• X称为规则前项
• Y称为规则后项

事务仅包含其涉及到的项目，而不包含项目的具体信息。

• 在超级市场的关联规则挖掘问题中，事务是顾客一次购物所购买的商品，但事务中并不包括这些商品的具体信息，如商品的数量、价格等。

支持度（support）：一个项集或者规则在所有事务中出现的频率，σ(X)：表示项集X的支持度计数

• 项集X的支持度：s(X)=σ(X)/N
• 规则X==>Y表示物品集X对物品集Y的支持度，也就是物品集X和物品集Y同时出现的概率
• 某天共有100个顾客到商场购买物品，其中有30个顾客同时购买了啤酒和尿布，那么上述的关联规则的支持度就是30%

置信度(confidence)：确定Y在包含X的事务中出现的频繁程度。c(X→Y)=σ(X∪Y)/σ(X)

• P(Y|X)=P(XY)/P(X)
• 置信度反映了关联规则的可信度，购买了项目集X中的商品的顾客同时也购买了项目集Y中的商品的可能性有多大
• 购买薯片的顾客中有50%的人也购买了可乐，则置信度为50%

设最小支持度为50%, 最小可信度为 50%, 则可得到 :

• A==>C (50%, 66.6%)
• C==>A (50%, 100%)
  若关联规则X->Y的支持度和置信度分别大于或等于用户指定的最小支持率minsupport和最小置信度minconfidence，则称关联规则X->Y为强关联规则，否则称关联规则X->Y为弱关联规则。

提升度(lift)：物品集A的出现对物品集B的出现的概率发生了多大的变化

• lift（A==>B）=confidence（A==>B）/support(B)=p(B|A)/p(B)
• 现在有1000个消费者，有500人购买了茶叶，其中有450人同时 购买了咖啡，另50人没有。由于confidence(茶叶=>咖啡)=450/500=90%，由此可能会认为喜欢喝茶的人往往喜欢喝咖啡。但如果另外没有购买茶叶的500人，其中同样有450人购买了咖啡，同样是很高的置信度90%，由此得到不爱喝茶的也爱喝咖啡。这样看来，其实是否购买咖啡，与有没有购买茶叶并没有关联，两者是相互独立的，其提升度90%/[(450+450)/1000]=1 。

由此可见，lift正是弥补了confidence的这一缺陷，if lift=1,X与Y独立，X对Y出现的可能性没有提升作用，其值越大(lift>1),则表明X对Y的提升程度越大，也表明关联性越强。

Leverage 与 Conviction的作用和lift类似，都是值越大代表越关联

• Leverage : P(A,B)-P(A)P(B)
• Conviction:P(A)P(!B)/P(A,!B)

二、关联分析案例（不需要进行数据预处理）

import pandas as pd
from mlxtend.frequent_patterns import apriori
from mlxtend.frequent_patterns import association_rules 

1、创建数据集

data = {'ID':[1,2,3,4,5,6],
       'Onion':[1,0,0,1,1,1],
       'Potato':[1,1,0,1,1,1],
       'Burger':[1,1,0,0,1,1],
       'Milk':[0,1,1,1,0,1],
       'Beer':[0,0,1,0,1,0]}

df = pd.DataFrame(data)
df = df[['ID', 'Onion', 'Potato', 'Burger', 'Milk', 'Beer']]

2、设置支持度 (support) 来选择频繁项集.

# 设置支持度（support）来选择频繁项集
# 选择最小支持度为50% 
# apriori(df, min_support=0.5, use_colnames=True)
 
frequent_itemset = apriori(df[['Onion', 'Potato', 'Burger', 'Milk', 'Beer']], min_support=0.5, use_colnames=True)
print(frequent_itemset)

    support                 itemsets
0  0.666667                  (Onion)
1  0.833333                 (Potato)
2  0.666667                 (Burger)
3  0.666667                   (Milk)
4  0.666667          (Onion, Potato)
5  0.500000          (Onion, Burger)
6  0.666667         (Burger, Potato)
7  0.500000           (Potato, Milk)
8  0.500000  (Onion, Potato, Burger)

3、计算规则

# 计算规则
# association_rules(df, metric='lift', min_threshold=1)
# 可以指定不同的衡量标准与最小阈值

rules = association_rules(frequent_itemset, metric='lift', min_threshold=1)
rules

# 可以指定不同的衡量标准与最小阈值
rules[(rules['lift'] >1.125) & (rules['confidence']> 0.8)]

三、关联分析案例（需要进行数据预处理）

1、创建数据集

retail_shopping_basket = {'ID':[1,2,3,4,5,6],
                         'Basket':[['Beer', 'Diaper', 'Pretzels', 'Chips', 'Aspirin'],
                                   ['Diaper', 'Beer', 'Chips', 'Lotion', 'Juice', 'BabyFood', 'Milk'],
                                   ['Soda', 'Chips', 'Milk'],
                                   ['Soup', 'Beer', 'Diaper', 'Milk', 'IceCream'],
                                   ['Soda', 'Coffee', 'Milk', 'Bread'],
                                   ['Beer', 'Chips']
                                  ]
                         }

retail_shopping_basket

{'ID': [1, 2, 3, 4, 5, 6],
 'Basket': [['Beer', 'Diaper', 'Pretzels', 'Chips', 'Aspirin'],
  ['Diaper', 'Beer', 'Chips', 'Lotion', 'Juice', 'BabyFood', 'Milk'],
  ['Soda', 'Chips', 'Milk'],
  ['Soup', 'Beer', 'Diaper', 'Milk', 'IceCream'],
  ['Soda', 'Coffee', 'Milk', 'Bread'],
  ['Beer', 'Chips']]}

retail = pd.DataFrame(retail_shopping_basket)
retail = retail[['ID', 'Basket']]
pd.options.display.max_colwidth=100
retail

# 数据集中都是字符串组成的，需要转换成数值编码
retail_id = retail.drop('Basket',1)
retail_id

retail_Basket = retail.Basket.str.join(',')
retail_Basket

retail_Basket = retail_Basket.str.get_dummies(',')
retail_Basket

retail = retail_id.join(retail_Basket)
retail

2、设置支持度 (support) 来选择频繁项集.

frequent_itemsets_2 = apriori(retail.drop('ID',1), use_colnames=True)
frequent_itemsets_2

3、计算规则

# 如果光考虑支持度support(X>Y)，[Beer,Chips]和[Beer,Diaper]都是很频繁的，哪一种组合更相关呢？
association_rules(frequent_itemsets_2, metric='lift')

# 显然{Diaper, Beer}更相关一些 

四、电影数据集关联分析

1、导入数据集

movies = pd.read_csv('C:/Users/hexiaomin/Desktop/ml-latest-small/ml-latest-small/movies.csv')
movies.head(10)

# 数据中包括电影名字与电影类型的标签，第一步还是先转换成one-hot格式
movies_ohe = movies.drop('genres', 1).join(movies.genres.str.get_dummies())
pd.options.display.max_columns=100
movies_ohe.head()

movies_ohe.shape
# 数据集包括9125部电影，一共有20种不同类型

movies_ohe.columns

movies_ohe.set_index(['movieId', 'title'], inplace=True)
movies_ohe.head()

2、设置支持度 (support) 来选择频繁项集.

frequent_itemsets_movies = apriori(movies_ohe, use_colnames=True, min_support=0.025)
frequent_itemsets_movies[0:10]

3、计算规则

rules_movies = association_rules(frequent_itemsets_movies, metric='lift', min_threshold=1.25)
rules_movies[0:10]

rules_movies[(rules_movies.lift>4)].sort_values(by=['lift'], ascending=False)

# Children和Animation这俩题材是最相关的。