3.贝叶斯分类器

2020-06-23 本文已影响0人 BlueFishMan

贝叶斯定理

设试验 E 的样本空间为 S,A 为 E 的事件, $B_1,B_2,...,B_n$ 为样本空间 S 的一个划分,且 $P(A)>0,P(B_i)\geq0(i=1,2,...,n)$ ,则有
$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}$

朴素贝叶斯算法

输入

1. 训练集
$T=\{(\overrightarrow{x}_1,y_1),(\overrightarrow{x}_2,y_2),...,(\overrightarrow{x}_N,y_N)\}$
$\overrightarrow{x}_i=(x_{i}^{(1)},x_{i}^{(2)},...,x_{i}^{(n)})^T$
$x_{i}^{(j)}\in\{a_{j1},a_{j2},...,a_{js_j}\}$
$y_i\in\{c_1,c_2,...,c_K\}$
$i=1,2,...,N;j=1,2,...,n$
2. 实例
$\overrightarrow{x}=(x^{(1)},x^{(2)},...,x^{(n)})^T$

输出

$y$

算法步骤

1. 先验概率的极大似然估计
$P(Y=c_k)=\frac{\sum_{i=1}^{N}I(y_i=c_k)}{N}$
$k=1,2,...,K$
2. 条件概率的极大似然估计
$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^{N}I(y_i=c_k)}$
$j=1,2,...,n;l=1,2,..,s_j;k=1,2,...,K$
3. 朴素贝叶斯法假设：在分类确定的条件下,用于分类的特征是条件独立的
$y=\mathop{\arg\max}\limits_{c_k}P(Y=c_k|X=\overrightarrow{x})$
$=\mathop{\arg\max}\limits_{c_k}\frac{P(X=\overrightarrow{x}|Y=c_k)P(Y=c_k)}{\sum_{j=1}^{K}P(X=\overrightarrow{x}|Y=c_j)P(Y=c_j)}$
$=\mathop{\arg\max}\limits_{c_k}\frac{P(Y=c_k)\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k) }{\sum_{j=1}^{K}P(X=\overrightarrow{x}|Y=c_j)P(Y=c_j)}$
$=\mathop{\arg\max}\limits_{c_k}P(Y=c_k)\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$
$k=1,2,...,K$

贝叶斯估计(最大后验估计 MAP)

$P_\lambda(Y=c_k)=\frac{\lambda+\sum_{i=1}^{N}I(y_i=c_k)}{K\lambda+N}$
$P_\lambda(X^{(j)}=a_{jl}|Y=c_k)=\frac{\lambda+\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{s_j\lambda+\sum_{i=1}^{N}I(y_i=c_k)}$
$j=1,2,...,n;l=1,2,..,s_j;k=1,2,...,K$
它等价于在 $X^{(j)}$ 的各个取值的频数上赋予了一个正数 $\lambda$ .
$\lambda=0$ ,极大似然估计； $\lambda=1$ ,拉普拉斯平滑.

其他朴素贝叶斯分类器

假设了不同的 $P(X^{(j)}|y=c_k)$ 分布.
1. GaussianNB(假设特征的条件概率分布满足高斯分布)
$P(X^{(j)}|y=c_k)=\frac{1}{\sqrt{2\pi\sigma_k^2}}\exp\left(-\frac{(X^{(j)}-\mu_k)^2}{2\sigma_k^2}\right)$
2. MultinomialNB(假设特征的条件概率分布满足多项式分布)
$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\lambda+\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{s_j\lambda+\sum_{i=1}^{N}I(y_i=c_k)}$
$j=1,2,...,n;l=1,2,..,s_j;k=1,2,...,K$
3. BernoulliNB(假设特征的条件概率分布满足二项分布)
$P(X^{(j)}|y=c_k)=pX^{(j)}+(1-p)(1-X^{(j)})$
$X^{(j)}\in\{0,1\};P(X^{(j)}=1|y=c_k)=p$