机器学习方法

2018-08-23 本文已影响0人水之心

分类

在已知模式 $x$ 的时候，如果能够求得使分类类别 $y$ 的条件概率 $p(y|x)$ (常被称为后验概率) 达到最大值的类别 $\hat{y}$ ，就可以进行模式识别了。
$\hat{y} = \underset{y} {\arg \max} \;\;p(y|x)$

由贝叶斯公式我们可以将后验概率 $p(y|x)$ 表示为 $y$ 的函数：
$p(y|x) = \frac{p(x,y)}{p(x)} ∝ p(x,y)$
即模式 $x$ 和类别 $y$ 的联合概率与后验概率 $p(y|x)$ 是成正比的。

在模式识别里，联合概率 $p(x,y)$ 也称为数据生成概率，通过预测数据生成概率 $p(x,y)$ 来进行模式识别的分类方法，称为生成的分类。

统计角度

在统计概率的机器学习里，将模式 $\theta$ 作为决定论的变量，使用手头的训练样本 $\mathcal{D} = \{(x_i,y_i) \}_{i=1}^n$ 对模式 $\theta$ 进行学习。例如，在最大似然估计算法中，一般对生成训练集 $\mathcal{D}$ 的最容易的方法所对应的模式 $θ$ 进行学习。
$\underset{\theta}{\max} {\displaystyle \prod_{i=1}^n} q(x_i,y_i;\theta)$

在统计概率方法中，如何由训练集 $\mathcal{D}$ 得到高精度的模式 $\theta$ 是主要的研究课题。

在朴素贝叶斯方法中，将模式 $θ$ 作为概率变量，对其先验概率 $p(θ)$ 加以考虑，计算与训练集 $\mathcal{D}$ 对应的后验概率 $p(\theta|\mathcal{D})$ ，即
$p(\theta|\mathcal{D}) = \frac{p(\mathcal{D}|\theta)p(\theta)}{p(\mathcal{D})} = \frac{\displaystyle\prod_{i=1}^n q(x_i,y_i|\theta)p(\theta)}{\int \displaystyle\prod_{i=1}^n q(x_i,y_i|\theta)p(\theta)\operatorname{d} \theta}$

因而，在朴素贝叶斯算法中，如何精确的计算后验概率是一个主要的研究课题。

机器学习方法

分类

统计角度

猜你喜欢

热点阅读