机器学习与计算机视觉机器学习和人工智能入门

Spark MLlib 贝叶斯分类算法

2017-09-29  本文已影响0人  尊尊123

贝叶斯定理

先验概率:p(A)

后验概率:p(A|B)是已知B发生后A的条件概率,

标准化常量:p(B)是B的先验概率或边缘概率

在生活中我们很容易求出P(A|B),p(B|A)则很难直接得出,贝叶斯可以帮助我们求出p(B|A)

贝叶斯定理:P(B|A)=P(A|B)P(B)/P(A)

朴素贝叶斯分类

思想基础:对于每一个待分类项,求出在此项类别的基础下,各个类别出现的概率,那个最大。就认为此待分类项属于哪个类别。

朴素贝叶斯分类的正式定义如下。

(1)设x={a1,a2,....an}为一个待分类项。而每个a为x的一个特征属性

(2)有类别集合C={y1,y2,...,yn},计算各类别的先验概率。并取对数。

计算公式:p(i)=log(p(yi))

                            =log((i类别的次数 + 平滑因子)/(总次数 + 类别数*平滑因子))

(3)在各类别下各个特征属性的条件概率估计,并取对数:

theta(i)(j)=log(p(aj/yi))=log(sumTermFreqs(j)+平滑因子)-thetaLogDenom

theta(i)(j)是i类别下j特征的概率,sumTermFreqs(j)是特征j出现的次数,thetaLogDenom分为如下两种模式:

①多项式模式:

                   thetaLogDenom=log(sumTermFreqs.values.sum + numFeatures*lambda)

对于文本分类,sumTermFreqs.values.sum解释为类i下的单词总数,numFeatures是特征数量,lambda是平滑因子。

②伯努利模型

                   thetaLogDenom =log(n+2.0*lambda)

对于文本分类,n解释为类i下的文章总数,lambda是平滑因子

(4)计算P(yi|x),.......P(yn|x)

各个特征属性是条件独立的,根据贝叶斯店里有如下推到:

                p(yi|x)=p(x|yi)p(yi)/p(x)

因为p(x)对于所有类别为常数,所以我们只要将分子最大化即可。又因为各特征属性是条件独立的。所以有:p(x|yi)p(yi)=p(a1|yi)..p(am)(y1)p(yi)然后取log

(5)如果p(yi|x)=max{p(y1|x),p(y2|X),.....p(yn|x)},

代码如下:

importorg.apache.log4j.{Level, Logger}

importorg.apache.spark.mllib.classification.NaiveBayes

importorg.apache.spark.mllib.linalg.Vectors

importorg.apache.spark.mllib.regression.LabeledPoint

importorg.apache.spark.{SparkConf, SparkContext}

/**

* Created by 87109 on 2017/9/30.

*/

objecttmp_native_bayes {

defmain(args: Array[String]): Unit = {

valconf =newSparkConf().setAppName("bayes").setMaster("local")

valsc =newSparkContext(conf)

Logger.getRootLogger.setLevel(Level.WARN)

//读取样本数据

valdata = sc.textFile("bayes.txt")

valparsedData = data.map{line =>

valparts =line.split(",")

LabeledPoint(parts(0).toDouble,Vectors.dense(parts(1).split(" ").map(_.toDouble)))

}

//将样本划分训练样本和测试样本

valsplits = parsedData.randomSplit(Array(0.6,0.4),seed =11L)

valtraining = splits(0)

valtest = splits(1)

//新建贝叶斯模型,并训练

valmodel = NaiveBayes.train(training,lambda =1.0,modelType ="multinomial")

//对测试样本进行测试

valpredictionAndLabel = test.map(p => (model.predict(p.features),p.label))

valprint_predict=predictionAndLabel.take(20)

println("prediction"+"\t"+"label")

for(i<-0to print_predict.length-1){println(print_predict(i)._1+"\t"+ print_predict(i)._2)}

valaccuracy =1.0*predictionAndLabel.filter(x => x._1 == x._2).count()

}

}

上一篇 下一篇

猜你喜欢

热点阅读