7.gitchat训练营-朴素贝叶斯分类器——从贝叶斯定理到分类

2019-03-08 本文已影响0人风吹柳_柳随风

1.分类VS回归

Classification VS Regression
分类模型VS回归模型，最根本的不同：前者是预测一个标签（类型、类别）；后者则是预测一个量。
换一个角度来看，分类模型输出的预测值是离散值；而回归模型输出的预测值则是连续值。也就是说输入一个样本给模型，回归模型给出的预测结果是在某个值域（一般是实数域或其子集）上的任意值；而分类模型则是给出特定的某几个离散值之一。

2.贝叶斯定理

贝叶斯公式如下：
$p(A|B)=\frac{P(B|A)P(A)}{P(B)}$
        用语言解释就是：在 B 出现的前提下 A 出现的概率，等于 A 和 B 都出现的概率除以 B 出现的概率。
一般化的贝叶斯公式
        更一般化的情况，假设事件 $A$ 本身又包含多种可能性，即 $A$ 是一个集合： $A=\begin{Bmatrix}A_1,A_2,...,A_n\end{Bmatrix}$ ，那么对于集合中任意的 $A_i$ ，贝叶斯定理可用下式表示：
$P(A_i|B)=\frac{P(B|A_i)P(A_i)}{\sum_jP(B|A_j)P(A_j)}$
连续概率的贝叶斯定理的形式为（下面所说的A和B对应之前贝叶斯公式中的A与B）：
$f(x|y)=\frac{f(y|x)f(x)}{\int_{-\infty}^\infty f(y|x)f(x)dx}$
        其中， $f(x|y)$ 是给定 $B=y$ 时， $A$ 的后验分布； $f(x)$ 则是A的先验分布概率函数。
        为了方便起见，这里的 f 在这些专有名词中代表不同的函数。

3.朴素贝叶斯分类器（Naïve Bayes Classifier）

“朴素贝叶斯”（Naïve Bayes）既可以是一种算法——朴素贝叶斯算法，也可以是一种模型——朴素贝叶斯分类模型（分类器）。

朴素贝叶斯算法

        首先讲作为算法的 Naïve Bayes，朴素贝叶斯算法可以直接利用贝叶斯定理来实现。先来看简洁版的贝叶斯定理：
$p(A|B)=\frac{P(B|A)P(A)}{P(B)}$
        在之前的几个例子中，为了便于理解，当 B 作为 A 的条件出现时，我们假定它总共只有一个特征。但在实际应用中，很少有一件事只受一个特征影响的情况，往往影响一件事的因素有多个。假设，影响 $B$ 的因素有 $n$ 个，分别是 $b_1,b_2,...,b_n$ 。
        则 $P(A|B)$ 可以写为：
$P(A|b_1,b_2,...,B_n)=\frac{P(A)P(b_1,b_2,...,b_n|A)}{P(b_1,b_2,...,b_n)}$
         $A$ 的先验概率 $P(A)$ 和多个因素的联合概率 $P(b_1,b_2,...,b_n)$ 都是可以单独计算的，与 $A$ 和 $b_i$ 之间的关系无关，因此这两项都可以被看作常数。
        对于求解 $P(A|b_1,b_2,...,b_n)$ 在，最关键的是 $P(b_1,b_2,...,b_n|A)$ 。根据链式法则可得：
$P(b_1,b_2,...,b_n|A)=P(b_1|A)P(b_2|A,b_1)P(b_3|A,b_1,b_2)\cdots P(b_n|A,b_1,b_2,...,b_n)$
        上面的求解过程，看起来好复杂，但是，如果从 $b_1$ 到 $b_n$ 这些特征之间，在概率分布上是条件独立的，也就是说每个特征 $b_i$ 与其他特征都不相关。
        那么，当 $i\neq j$ 时，有 $P(b_i|A,b_j)=P(b_i|A)$ ——无关条件被排除到条件概率之外。因此，当 $b_1,b_2,...,b_n$ 中每个特征与其他 $n-1$ 个特征都不相关时，就有：
$P(A|b_1,b_2,...b_n)=\frac{1}{z}P(A)\prod_{i=1}^nP(b_i|A)$
        注意此处的z对应 $P(b_1,b_2,...,b_n)$ 。

一款极简单的朴素贝叶斯分类器

        上式中的 $b_1$ 到 $b_n$ 是特征（Feature），而 $A$ 则是最终的类别（Class），所以，换一个写法：
$P(C|F_1,F_2,...,F_n)=\frac{1}{z}P(C)\prod_{i=1}^nP(F_i|C)$
        这个公式也就是我们的朴素贝叶斯分类器的模型函数！
        它用来做预测时是这样的：

有一个朴素贝叶斯分类模型（器），它能够区分出 $k$ 个类 $(c_1,c_2,...,c_k)$ ，用来分类的特征有 $n$ 个： $(F_1,F_2,...,F_n)$ 。
现在有个样本s，我们要用NB分类器对它做预测，则需要先提取出这个样本的所有特征值 $F_1$ 和 $F_2$ ，将其带入到下式中进行 $k$ 次运算：
$P(C=c_j)\prod_{i=1}^nP(F_i=f_i|C=c_j)$
然后比较这 $k$ 次的结果，选出使得运算结果达到最大值的那个 $c_j(j=1,2,...,k)$ ——这个 $c_j$ 对应的类别就是预测值。
        假设我们当前有一个模型，总共只有两个类别： $c_1$ 和 $c_2$ ；有三个Feature： $F_1$ ， $F_2$ 和 $F_3$ 。 $F_1$ 有两种可能性取值： $f_{11}$ 和 $f_{12}$ ； $F_2$ 有三种可能性取值： $f_{21}$ 、 $f_{22}$ 、 $f_{23}$ ； $F_3$ 也有两种可能性取值： $f_{31}$ 、 $f_{32}$ 。
        那么对于这个模型，我们要做的就是通过训练过程，获得下面这些值：
$P(C=c_1)P(C=c_2)P(F_1=f_{11}|C=c_1)P(F_1=f_{12}|C=c_1)$
$P(F_2=f_{21}|C=c_1)P(F_2=f_{22}|C=c_1)P(F_2=f_{23}|C=c_1)$
$P(F_3=f_{31}|C=c_1)P(F_3=f_{32}|C=c_1)P(F_1=f_{11}|C=c_2)$
$P(F_1=f_{12}|C=c_2)P(F_2=f_{21}|C=c_2)P(F_2=f_{22}|C=c_2)$
$P(F_2=f_{23}|C=c_2)P(F_3=f_{31}|C=c_2)P(F_3=f_{32}|C=c_2)$
        把这些概率值都算出来以后，就可以用来做预测了。
        比如我们有一个需要预测的样本 X，它的特征值分别是 $f_{11}$ 、 $f_{22}$ 、 $f_{31}$ ，那么
样本 $X$ 被分为 $c_1$ 的概率是：
$P(C=c_1|x)=P(c=c_1|F_1=f_{11},F_2=f_{22},F_2=f_{31})$
$\alpha P(C=c_1)P(F_1=f_{11}|C=c_1)P(F_2=f_{22}|C=c_1)P(F_3=f_{31}|C=c_1)$
样本 $X$ 被分为 $c_2$ 的概率是：
$P(C=c_2|x)=P(c=c_2|F_1=f_{11},F_2=f_{22},F_2=f_{31})$
$\alpha P(C=c_2)P(F_1=f_{11}|C=c_2)P(F_2=f_{22}|C=c_2)P(F_3=f_{31}|C=c_2)$
        两者都算出来以后，只需要对比 $P(C=c_1|x)$ 和 $P(C=c_2|x)$ 谁更大，那么这个样本的预测值就是对应类别。