ML之朴素贝叶斯

2018-12-26 本文已影响30人 yangOvOyang

1.问题描述

给定一个数据集，数据集中所有的样本点 $X$ 都对应一个类标签 $Y$ ，其中随机变量 $X \sqsubseteq \mathbb{R}^n$ ，随机变量 $Y \in \{c_1, c_2, ..., c_K \}$

现任给一个样本点 $x$ ，朴素贝叶斯将分别求出 $x$ 属于每个类别的概率 $P(Y=c_k|X=x)，k=1, 2, ..., K$ ，然后选择对应概率最大的 $c_k$ 作为该样本点的类别

2.条件概率

根据条件概率，有

$P(A|B)=\frac {P(AB)} {P(B)} = \frac {P(A)P(B|A)} {P(B)} \qquad (1)$

这里我们将 $Y=c_k$ 看成事件 $A$ ，将 $X=x$ 视作事件 $B$ ，那么 $P(Y=c_k|X=x)$ 可变形为

$P(Y=c_k|X=x)=\frac {P(Y=c_k)P(X=x|Y=c_k)} {P(X=x)} \qquad (2)$

3.全概率公式

根据全概率公式，有
$\begin{aligned} P(B) & =P(BA_1)+P(BA_2)+...+P(BA_n) \\ \\ & = P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+...+P(A_n)P(B|A_n) \\ \\ & = \sum_{i=1}^n{P(A_i)P(B|A_i)} \qquad (3) \end{aligned}$

这里的事件A被拆分成n个独立事件

于是我们将(2)式中的分母按照全概率公式展开，得到

$\begin{aligned} P(Y=c_k|X=x)=\frac {P(Y=c_k)P(X=x|Y=c_k)} {\sum_{k=1}^{K} {P(Y=c_k)P(X=x|Y=c_k)}} \qquad (4) \end{aligned}$

观察(4)式发现，推导到这一步，要计算样本点 $x$ 的类别，其实就只需要计算 $P(Y=c_k)$ 和 $P(X=x|Y=c_k)$ 了

4. 朴素贝叶斯为什么“朴素”？

先将 $P(Y=c_k)$ 放一放，来看看如何计算 $P(X=x|Y=c_k)$ 。由于数据集中的 $x$ 是一个 $n$ 维特征向量，所以

$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)}, X^{(2)}=x^{(2)}, ..., X^{(n)}=x^{(n)}|Y=c_k) \qquad (5)$

如果假设特征向量 $x$ 的任意一个特征 $x^j$ 的取值有 $s_j$ 种， $j = 1,2, ..., n$ ， $s_j=1,2,3,...$ ，类别标签 $c_k$ 又有K种，即 $k=1,2,...,K$ 。那么要直观去计算 $P(X=x|Y=c_k)$ 需要 $K\prod_{i=1}^n {s_i}$ 个参数，和决策树一样，实际情况不可能有这么多数据。

为了极大地简化计算，朴素贝叶斯算法在这里做了最为朴素最为简单的假设：特征条件独立假设。这就是朴素一词的由来^[1]。即假设所有特征之间是独立并且同等重要的。

根据特征条件独立假设，(5)式便可化简为：

$\begin{aligned} P(X=x|Y=c_k) & = P(X^{(1)}=x^{(1)}, X^{(2)}=x^{(2)}, ..., X^{(n)}=x^{(n)}|Y=c_k) \\ \\ & = P(X^{(1)}=x^{(1)}|Y=c_k)P(X^{(2)}=x^{(2)}|Y=c_k) \cdots P(X^{(n)}=x^{(n)}|Y=c_k) \\ \\ & = \prod_{j=1}^n P(X^{(j)}=x^{(j)}|Y=c_k) \qquad (6) \end{aligned}$

将(4)(6)组合，得朴素贝叶斯最终的计算公式：

$\begin{aligned} y\_ & = f(x)\\ \\ & = argmax_{c_k} P(Y=c_k|X=x) \\ \\ & = \frac {P(Y=c_k)P(X=x|Y=c_k)} {\sum_{k=1}^{K} {P(Y=c_k)P(X=x|Y=c_k)}} \\ \\ & = \frac {P(Y=c_k) \prod_{j=1}^n P(X^{(j)}=x^{(j)}|Y=c_k)} {\sum_{k=1}^{K} P(Y=c_k) \prod_{j=1}^n P(X^{(j)}=x^{(j)}|Y=c_k) } \qquad (7) \end{aligned}$

到这里求解 $P(Y=c_k|X=x)$ 就只需要求解 $P(Y=c_k)$ 和 $P(X^{(j)}=x^{(j)}|Y=c_k)$ 就可以了。

5.最大似然估计

在给定数据集的基础上，使用最大似然估计来求解 $P(Y=c_k)$ 和 $P(X^{(j)}=x^{(j)}|Y=c_k)$ ，假设训练集的数量为N，借用指示函数 $I(expression)$ 来统计满足 $\text{[math]}$ 的个数如下所示：

$\begin{aligned} P(Y=c_k) & = \frac {\sum_{i=1}^N I(y_i=c_k)} {N} \qquad k=1,2,3, ..., K \qquad (7)\\ \\ P(X^{(j)}=a_{jl}|Y=c_k) & = \frac {\sum_{i=1}^N I(x_i^{(j)}=a_{jl}, y_i=c_k)} {\sum_{i=1}^N I(y_i=c_k)} \qquad l = 1,2, ..., s_j \qquad (8) \end{aligned}$

至此，朴素贝叶斯已经可以直接计算出任一样本点 $x$ 属于各个类别的概率了，即在给定样本点 $x$ 的情况下，类别标签为 $c_k$ 的概率 $P(Y=c_k|X=x)$ 。

之前在bilibili上看到一个朴素贝叶斯的讲解视频，讲解者一开始被提问“为何叫朴素”时竟然说自己也不清楚反正就是这么叫的，着实让人心寒。 ↩