Apriori算法进行数据特征挖掘
Apriori算法进行数据特征挖掘
标签：推荐算法
我们很多人都听过一个故事，就是一个商店主观察到一个规律，于是总是把蛋挞和雨伞摆在一起，并且这显著增加了这两种物品在该商店的销售量。而我们现在讨论的这个Apriori算法，就和这个小故事有关。
[TOC]
1. Apriori算法基础原理
首先介绍一下Apriori算法：比如对于以一些物品，列出其所有可能的组合，然后将这些组合与已知数据集进行比较，如果某个数据集包含这种组合，则这种组合的出现次数加一，最后用得到的总出现次数除以总的数据几个数，记得到啦名叫支持度的东西。（简单来说：一个项集的支持度就是数据集中包含该项集的记录所占的比例）
另外还有一个可信度或置信度的东西，是针对诸如对于项集{1,2}来说，其{1} -> {2}的关联规则，即为 $a=$某项集的支持度除以该项集的一个子集的支持度。意味着对于包含{1}的所有记录，{1} -> {2}的关联规则对其中 a(一点是小数) 的记录都适用
但是，大家就会发现一个问题，如果这个数据集包含的元素种类比较多，不用特别多，如果是10000种，这样一种一种组合，就足够让计算机运行好一会啦。所以，研究人员发现啦一个所谓的Apriori原理:
如果说某个项集是频繁的，那么它的所有子集也都是频繁的。
这样看，仿佛没啥，如果逆否命题一下：
如果一个项集是非频繁的，那么它所有的超集也是非频繁的。
2. 使用Apriori算法发现频繁集
1. 生成候选集
算法步骤：
1. 先定输入：最小支持度 ， 数据集
2. 生成所有单个物品的项集列表
3. 扫描看哪些项集满足最小支持度要求，不满足的舍弃，满足的保留
4. 对剩下的集合进行组合来生成包含两个一级两个以上元素的项集，然后重新扫描记录，去掉不满足最小支持度的项集，重读该过程，直到所有的项集都被去掉。
代码如下（代码量不大，就不用github啦）
(另外说明，由于machinelearningaction书上是python2实现的，但是我已经开始用python3啦，所以有地方改动，请根据自身情况参考)
#第一个是导入数据的函数，这里就为了测试，就不用文件了。
def loadDataSet():
return [[1, 3, 4], [2, 3, 5], [1, 2, 3, 5], [2, 5]]
#这个函数生成所有单个物品的项集列表
def createC1(dataSet):
C1 = []
for transaction in dataSet:
for item in transaction:
if not [item] in C1:
C1.append([item])
C1.sort()
return map(frozenset, C1)#use frozen set so we can use it as a key in a dict
##下面这个函数保留了满足最小支持度的项集（当然，这些项集分别只包含一个元素）
def scanD(D, Ck, minSupport):
ssCnt = {}
for tid in D:
for can in Ck:
if can.issubset(tid):
if not can in ssCnt: ssCnt[can]=1#注意这里我就改了，因为py3没有have_key()方法
else: ssCnt[can] += 1
numItems = float(len(list(D)))
#print(numItems)
retList = []
supportData = {}
for key in ssCnt:
support = ssCnt[key]/numItems
if support >= minSupport:
retList.insert(0,key)
supportData[key] = support
return retList, supportData
下面让我们来测试一下啊
#下面我们来测试一下：
dataSet = loadDataSet()
print(dataSet)
C1 = createC1(dataSet)
print(C1)
D = map(set , dataSet)
print(D)
L1 , suppData0 = scanD(D , C1 , 0.5)
print(L1)
print(suppData0)
2. 接下来我们开始组织完整的Apriori算法：
先看看伪代码步骤：
当集合中项 的个数大于0时
1.构建一个k个项组成的候选项集的列表。
2.检查数据已确认每个项集都是频繁的
3.保留频繁项集并构建k+1个项组成的候选项集的列表
下面代码包含两个函数：
aprioriGen()以及apriori() , 前者用来创建候选项集Ck，需要的输入为频繁项集列表LK，与项集元素个数k.而后者apriori()函数充当了一个主函数的作用，他会调用aprioriGen()函数
#对于aprioriGen函数，两个参数分别为频繁项集列表LK，与项集元素个数k，输出为Ck
def aprioriGen(Lk, k): #creates Ck
retList = []
lenLk = len(Lk)
for i in range(lenLk):
for j in range(i+1, lenLk):
L1 = list(Lk[i])[:k-2];
L2 = list(Lk[j])[:k-2]
L1.sort(); L2.sort()
if L1==L2: #if first k-2 elements are equal
retList.append(Lk[i] | Lk[j]) #set union
return retList
#apriori函数相当于一个主函数，会调用上方的aprioriGen函数来获得所有的包含K个元素的项集
def apriori(dataSet, minSupport = 0.5):
C1 = createC1(dataSet)
D = map(set, dataSet)
L1, supportData = scanD(D, C1, minSupport)
L = [L1]
k = 2
while (len(L[k-2]) > 0):
Ck = aprioriGen(L[k-2], k)
Lk, supK = scanD(D, Ck, minSupport)#scan DB to get Lk
supportData.update(supK)
L.append(Lk)
k += 1
return L, supportData
