最大似然法求解k分类朴素贝叶斯模型

2019-03-30  本文已影响0人  deBroglie

建模

1）假设目标变量\small{y\in\{0,\cdots,k-1\} }服从\small{k}项式分布\small{(\phi_1, \cdots, \phi_{k-1})}：
p(y; \phi_1, \cdots, \phi_{k-1}) = \prod_{s=0}^{k}\phi_{s}^{ \mathbf{1} \{ y = s \} } = (1 - \sum_{s=1}^{k-1} \phi_{s})^{1 - \sum_{s=1}^{k-1} \mathbf{1} \{ y = s \} } \cdot \prod_{s=1}^{k-1}\phi_{s}^{ \mathbf{1} \{ y = s \} }

其中\small{\mathbf{1} \{ \cdot \} }是指示函数，满足\small{\mathbf{1} \{ \text{True} \} = 1, \mathbf{1} \{ \text{False} \} = 0}。

2）[朴素Bayes假设] 特征向量的每一个分量\small{x_{j}}之间，对于给定的\small{y}，是彼此独立的。即\small{ p(\vec{x}|y) = p(x_{j}, j = 1,\cdots,n | y) = \prod_{j=1}^{n} p(x_{j} | y, x_{1}, \cdots, x_{j-1}) = \prod_{j=1}^{n} p(x_{j} | y) }

3）设第\small{j}个特征\small{x_{j}}可能的取值集合为\small{ \{a_{j1},\cdots,a_{jk_{j}} \} }，共\small{k_{j}}种可能。

全部模型参数\small{\phi_{j,r|y=s} = p(x_j=a_{jr})}，\small{\phi_{y,s} = p(y = s)}

对数似然函数

最大化对数似然函数

未完待续

上一篇 下一篇

猜你喜欢

热点阅读