【实现】利用朴素贝叶斯进行邮件分类
利用基于概率论的贝叶斯分类器,对收取的邮件【英文】进行分类。【简易版】
文本分类待续
1. 收集数据
收集的数据包含两类:垃圾邮件和正常邮件。每类中有25个样本。
数据集分类 邮件内容2. 数据处理
1)要从文本中获取特征,需要拆分文本,分成词条。
2)获取数据字典
3)向量化处理,方便进行特征提取。
2.1 分词
def textParse(bigString):
import re
listOfTokens = re.split(r'\W*',bigString)
return [tok.lower() for tok in listOfTokens if len(tok)>2]#取出掉长度过短的单词
\W: 非单词字符
2.2 获取数据字典
def createVocabList(dataSet):
vocabSet = set()
for doc in dataSet:
vocabSet = vocabSet | set(doc)
return list(vocabSet)
vocabSet | set(doc):相当于概率论中集合之间的并运算。
集合特点:无序;唯一。
2.3 向量化处理
向量化处理又分为两种情况:
1)词集模型:词集,顾名思义,就是一个集合。只关注token是否出现,并不关注出现的次数。
2)词袋模型:关注token的出现次数,有较好的处理结果。
词集模型:
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] = 1
return returnVec
词袋模型:
def bagOfWords2VecMN(vocabList, inputList):
returnVec = [0]*len(vocabList)
for word in inputList:
if word in vocabList:
returnVec[vocabList.index(word)] += 1
return returnVec
3. 训练模型
朴素贝叶斯是基于概率的分类器,其训练过程就是计算各个概率的过程。
def trainNB0(trainMatrix, trainCategory):
numTrainDocs = len(trainMatrix)
numWords = len(trainMatrix[0])
pAbusive = sum(trainCategory)/float(len(trainCategory))
p0Sum = ones(numWords); p1Sum = ones(numWords)#0概率处理
p0Denom = 2.0; p1Denom = 2.0
for i in range(numTrainDocs):
if trainCategory[i] == 1:
p1Sum += trainMatrix[i]
p1Denom += sum(trainMatrix[i])#sum(trainMatrix[i]):文章i的词汇数
else:
p0Sum += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
p1Vec = log(p1Sum/float(p1Denom))#下溢出处理
p0Vec = log(p0Sum/float(p0Denom))
return p1Vec, p0Vec, pAbusive
使用numpy.array来计算,方便、快捷。
4.测试分类器
基本分类器:
def classifyNB(vec2Classify, p1Vec, p0Vec, pAbusive):
p1 = sum(vec2Classify * p1Vec) + log(pAbusive)
p0 = sum(vec2Classify * p0Vec) + log(1-pAbusive)
if p1 > p0:
return 1
else:
return 0
垃圾邮件测试程序:
def spamTest():
docList = []; classList = []
for i in range(1,26):
bigString = open('email/spam/%d.txt' % i).read()#读取邮件内容
wordList = textParse(bigString)
docList.append(wordList)
classList.append(1)
bigString = open('email/ham/%d.txt' %i).read()
wordList = textParse(bigString)
docList.append(wordList)
classList.append(0)
vocabList = createVocabList(docList)
#划分训练集和测试集
trainSet = range(50); testSet = []#存储下标
for i in range(10):
randIndex = int(random.uniform(0,len(trainSet)))#产生一个随机数
testSet.append(trainSet[randIndex])
del trainSet[randIndex]
trainMat = []; trainClasses = []
for docIndex in trainSet:
trainMat.append(setOfWords2Vec(vocabList,docList[docIndex]))
trainClasses.append(classList[docIndex])
p1Vec, p0Vec, pSpam = trainNB0(trainMat,trainClasses)
errorCount = 0
for docIndex in testSet:
wordVec = setOfWords2Vec(vocabList,docList[docIndex])
predict = classifyNB(wordVec,p1Vec,p0Vec,pSpam)
if predict != classList[docIndex]:
errorCount += 1
errorRate = float(errorCount)/len(testSet)
print ("the error rate is %f" % errorRate)
return errorRate
使用误分率作为衡量分类器的数据指标。
由于测试集的生成是随机的,所以分类器误分率每次运行结果不一致。通过运行10次的平均值作为分类器的分类效果。
运行结果5. 小结
1)贝叶斯概率及贝叶斯 准则提供了一种利用已知值来估计位置概率的有效方法;
2)朴素贝叶斯假设:数据特征之间相互独立。虽然该假设一般情况下,并不满足。但是!尽管不满足,使用朴素贝叶斯进行分类,仍然取得了很好的效果!!(很气......)
3)优点:在数据较少的情况下仍然有效,可以处理多类别问题;
4)缺点:对输入数据的准备方式较为敏感;
5)使用数据类型:标称型数据(就是名词性数据)
6)中文文本分类:之前做过一个大作业,就是关于中文文本分类,100万新闻语料,10个类别。
To Be Continued!!!
下午玩去:看看闻名已久的回音壁。
天坛