数据挖掘大数据,机器学习,人工智能程序员

【实现】利用朴素贝叶斯进行邮件分类

2018-01-13  本文已影响103人  七八音

利用基于概率论的贝叶斯分类器,对收取的邮件【英文】进行分类。【简易版】

文本分类待续

1. 收集数据

收集的数据包含两类:垃圾邮件和正常邮件。每类中有25个样本。

数据集分类 邮件内容

2. 数据处理

1)要从文本中获取特征,需要拆分文本,分成词条。

2)获取数据字典

3)向量化处理,方便进行特征提取。

2.1 分词

def textParse(bigString):

    import re

    listOfTokens = re.split(r'\W*',bigString)

    return [tok.lower() for tok in listOfTokens if len(tok)>2]#取出掉长度过短的单词

\W: 非单词字符

2.2 获取数据字典

def createVocabList(dataSet):

    vocabSet = set()

    for doc in dataSet:

        vocabSet = vocabSet | set(doc)

    return list(vocabSet)

vocabSet | set(doc):相当于概率论中集合之间的并运算。

集合特点:无序;唯一。

2.3 向量化处理

向量化处理又分为两种情况:

1)词集模型:词集,顾名思义,就是一个集合。只关注token是否出现,并不关注出现的次数。

2)词袋模型:关注token的出现次数,有较好的处理结果。

词集模型:

def setOfWords2Vec(vocabList, inputSet):

    returnVec = [0]*len(vocabList)

    for word in inputSet:

        if word in vocabList:

            returnVec[vocabList.index(word)] = 1

    return returnVec

词袋模型:

def bagOfWords2VecMN(vocabList, inputList):

    returnVec = [0]*len(vocabList)

    for word in inputList:

        if word in vocabList:

            returnVec[vocabList.index(word)] += 1

    return returnVec

3. 训练模型

朴素贝叶斯是基于概率的分类器,其训练过程就是计算各个概率的过程。

def trainNB0(trainMatrix, trainCategory):

    numTrainDocs = len(trainMatrix)

    numWords = len(trainMatrix[0])

    pAbusive = sum(trainCategory)/float(len(trainCategory))

    p0Sum = ones(numWords); p1Sum = ones(numWords)#0概率处理

    p0Denom = 2.0; p1Denom = 2.0

    for i in range(numTrainDocs):

        if trainCategory[i] == 1:

            p1Sum += trainMatrix[i]

            p1Denom += sum(trainMatrix[i])#sum(trainMatrix[i]):文章i的词汇数

        else:

            p0Sum += trainMatrix[i]

            p0Denom += sum(trainMatrix[i])

    p1Vec = log(p1Sum/float(p1Denom))#下溢出处理

    p0Vec = log(p0Sum/float(p0Denom))   

    return p1Vec, p0Vec, pAbusive

使用numpy.array来计算,方便、快捷。

4.测试分类器

基本分类器:

def classifyNB(vec2Classify, p1Vec, p0Vec, pAbusive):

    p1 = sum(vec2Classify * p1Vec) + log(pAbusive)

    p0 = sum(vec2Classify * p0Vec) + log(1-pAbusive)

    if p1 > p0:

        return 1

    else:

        return 0

垃圾邮件测试程序:

def spamTest():

    docList = []; classList = []

    for i in range(1,26):

        bigString = open('email/spam/%d.txt' % i).read()#读取邮件内容

        wordList = textParse(bigString)

        docList.append(wordList)

        classList.append(1)

        bigString = open('email/ham/%d.txt' %i).read()

        wordList = textParse(bigString)

        docList.append(wordList)

        classList.append(0)

    vocabList = createVocabList(docList)

    #划分训练集和测试集

    trainSet = range(50); testSet = []#存储下标

    for i in range(10):

        randIndex = int(random.uniform(0,len(trainSet)))#产生一个随机数

        testSet.append(trainSet[randIndex])

        del trainSet[randIndex]

    trainMat = []; trainClasses = []

    for docIndex in trainSet:

        trainMat.append(setOfWords2Vec(vocabList,docList[docIndex]))

        trainClasses.append(classList[docIndex])

    p1Vec, p0Vec, pSpam = trainNB0(trainMat,trainClasses)

    errorCount = 0

    for docIndex in testSet:

        wordVec = setOfWords2Vec(vocabList,docList[docIndex])

        predict = classifyNB(wordVec,p1Vec,p0Vec,pSpam)

        if predict != classList[docIndex]:

            errorCount += 1

    errorRate = float(errorCount)/len(testSet)

    print ("the error rate is %f" % errorRate)

    return errorRate

使用误分率作为衡量分类器的数据指标。

由于测试集的生成是随机的,所以分类器误分率每次运行结果不一致。通过运行10次的平均值作为分类器的分类效果。

运行结果

5. 小结

1)贝叶斯概率及贝叶斯 准则提供了一种利用已知值来估计位置概率的有效方法;

2)朴素贝叶斯假设:数据特征之间相互独立。虽然该假设一般情况下,并不满足。但是!尽管不满足,使用朴素贝叶斯进行分类,仍然取得了很好的效果!!(很气......)

3)优点:在数据较少的情况下仍然有效,可以处理多类别问题;

4)缺点:对输入数据的准备方式较为敏感;

5)使用数据类型:标称型数据(就是名词性数据)

6)中文文本分类:之前做过一个大作业,就是关于中文文本分类,100万新闻语料,10个类别。

To Be Continued!!!

下午玩去:看看闻名已久的回音壁。

天坛
上一篇下一篇

猜你喜欢

热点阅读