[ml - R]朴素贝叶斯分类器
之所以叫朴素贝叶斯，
因为独立的事件，联合分布可以拆分为各个分布的乘积。
具体的原理，周末会补充一下。
下面是代码：
library(e1071)
head(iris)
pairs(iris[1:4], pch = 21, bg = c('red', 'green3', 'blue')[unclass(iris$Species)])
classifier = naiveBayes(iris[, 1:4], iris[, 5])
table(predict(classifier, iris[, -5]), iris[, 5])
垃圾短信分类器
http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/
sms_raw = read.table('E:/rpath/SMSSpamCollection', stringsAsFactors = FALSE, sep = '\t', header = FALSE, comment = '', quote = NULL, encoding = 'UTF-8')
names(sms_raw) = c('type', 'text')
str(sms_raw)
把 type 转换为factor 变量， 因为贝叶斯分类要求变量为factor类型
sms_raw$type = factor(sms_raw$type)
table(sms_raw$type)
数据预处理
对于文本的分析通常我们会用到[tm包]
require(tm)
packageVersion(pkg = 'tm')
sessionInfo() # 看自己的运行环境，各个包的版本
sms_corpus = Corpus(VectorSource(sms_raw$text))
这里将原始数据中的短信都作为向量输入构建语料库Corpus()
print(sms_corpus)
inspect(sms_corpus[1:3]) # 查看 语料库里的内容
这里可以看到语料库里有5574个文档，实际与我们的数据集样本数一样，每个文档对应的就是一条短信。
从前3条短信我们看出，文档里有标题、数字、还有标点符号，以及大小写，为了方便分析，我们进行如下处：
corpus_clean <- tm_map(sms_corpus, content_transformer(tolower))
corpus_clean <- tm_map(corpus_clean, tolower)
corpus_clean <- tm_map(corpus_clean, removeNumbers)
corpus_clean <- tm_map(corpus_clean, removeWords, stopwords()) # the, a, 停止词
corpus_clean <- tm_map(corpus_clean, removePunctuation) # 标点符号
corpus_clean <- tm_map(corpus_clean, stripWhitespace) # 空白
# corpus_clean <- tm_map(corpus_clean, PlainTextDocument)
inspect(corpus_clean[1:3])
统计每个词在文档中出现的频率，document term 稀疏矩阵完成，这个稀疏矩阵的行对应一个文档，列对应每个词，term document 则反过来
sms_dtm = DocumentTermMatrix(corpus_clean)
require(caret)
set.seed(2014)
inTrain = createDataPartition(y = sms_raw$type, p = 0.75, list = FALSE)
sms_raw_train = sms_raw[inTrain, ]
sms_raw_test = sms_raw[-inTrain, ]
sms_dtm_train = sms_dtm[inTrain, ]
sms_dtm_test = sms_dtm[-inTrain, ]
sms_corpus_train = corpus_clean[inTrain]
sms_corpus_test = corpus_clean[-inTrain]
prop.table(table(sms_raw_train$type))
prop.table(table(sms_raw_test$type))
最简单的文本分析方法 就是生成词云， 我们用wordcloud包
require(wordcloud)
wordcloud(sms_corpus_train, min.freq = 40, random.order = FALSE)
这里的 min.freq 是词出现的最小频率，通常我们用语料库的10%来开始（训练语料库有4182个文档）。
上面这个词云只是给出了一个总体印象，对我们的分析没有太大帮助，我们考虑分布看看垃圾邮件与正常邮件的区别
spam = subset(sms_raw_train, type == 'spam')
ham = subset(sms_raw_train, type == 'ham')
wordcloud(spam$text, max.words = 40, scale = c(3, 0.5))
wordcloud(ham$text, max.words = 40, scale = c(3, 0.5))
词频
把所有的词都考虑近来显然不是很好的方法，我们的矩阵有7938个特征，因此我们需要考虑缩小范围，
于是采用findFreqTerms的方法取>5的特征（具体取多少根据数据的具体情况）：
findFreqTerms(sms_dtm_train, 5)[10:20]
sms_dict = (findFreqTerms(sms_dtm_train, 5))
获得了词频大于5的词后，我们再利用它来生成一个字典，这样可以在文档矩阵中支出，我支取字典中有的词，新的矩阵只有1252个特征了。
sms_train = DocumentTermMatrix(sms_corpus_train,
list(dictionary = sms_dict))
sms_test = DocumentTermMatrix(sms_corpus_test,
list(dictionary = sms_dict))
我们的目标是想通过短信里面有或者没有某个词来判断是否是垃圾短信，
那么我们显然应该使用的矩阵是标记某个词在某个短信中出现了还是没有出现，
因此写个函数来完成这个功能：
convert_counts = function(x) {
x = ifelse(x > 0, 1, 0)
x = factor(x, levels = c(0, 1), labels = c("No", "Yes"))
return(x)
}
对矩阵每一列进行这样的处理：
sms_train = apply(sms_train, MARGIN = 2, convert_counts) # margin = 2 是对列变换
sms_test = apply(sms_test, MARGIN = 2, convert_counts)
于是我们可以得到最终用来构建模型的数据集
模型训练
在R里面有多个包提供朴素贝叶斯分类，比如e1071包，还有klaR包的 NaiveBayes()。
这里使用e1071
require(e1071)
sms_classifier = naiveBayes(sms_train, sms_raw_train$type)
于是我们得到了分类器sms_classifier
模型评估
有了模型就可以对测试数据进行预测：
pred(m, test, type = 'class')
这里的type 如果为class 代表是分类，如果是raw则代表概率的计算
sms_test_pred = predict(sms_classifier, sms_test, type = 'class')
head(sms_test_pred, 5)
require(gmodels)
CrossTable(sms_test_pred, sms_raw_test$type, prop.chisq = FALSE, prop.t = FALSE,
dnn = c('predicted', 'actual'))
模型改进
拉普拉斯估计问题，用 Laplace = 1
sms_classifier2 = naiveBayes(sms_train, sms_raw_train$type,
laplace = 1)
sms_test_pred2 = predict(sms_classifier2, sms_test)
CrossTable(sms_test_pred2, sms_raw_test$type,
prop.chisq = FALSE, prop.t = FALSE, prop.r = FALSE,
dnn = c('predicted', 'actual'))
