贝叶斯分类器

贝叶斯决策轮：

  对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。
  假设有N种可能的类别标记，即，是将一个真实标记为标记为所产生的损失。后验概率，则将样本分类为所产生的期望损失，即在样本上的“条件风险”（conditional risk）：

理解为错误标记为的损失。

贝叶斯判断准则（Bayes decision rule）：

  最小化总体风险，只需要在每个样本上选择那个能使条件风险最小的类别标记，即

此时，称为贝叶斯最优分类器（Bayes optimal classifier），与之对应的总体风险称为贝叶斯风险（Bayes risk）。表示分类器所能到达的最好性能。
  错误率对应于损失函数。
  条件风险：

于是最小化分类错误率的贝叶斯最优分类器为

  后验概率两种策略：给定，可通过直接建模来预测，这样得到的是“判别式模型”。也可以通过贝叶斯定理得出，基于贝叶斯定理：

其中是类“先验”概率；P(x|c)是样本相对于类标记的类条件概率，或称"似然"；是用于归一化的“证据”（对所有类标记均相同，故类标记无关），问题就转化为基于训练集来估计。根据大数定律可以通过各类样本出现的频率来估计，直接通过频率来估计是不可行的。

朴素贝叶斯分类器：

  为了避免难以从有限的训练集样本直接估计而得，朴素贝叶斯分类器采用了“属性条件独立性假设”（attribute conditional independence assumption），即假设每个属性独立地对分类结果产生影响，则

半朴素贝叶斯分类器：

  朴素贝叶斯分类器采用了属性条件独立假设，但在现实任务中这个建设往往很难成立。于是尝试对属性条件独立性假设进行一定程度的放松，适当考虑一部分属性间的相互依赖信息，从而不需要进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。
  “独依赖估计”（One-Dependent Estimator，ODE）是半朴素贝叶斯分类器最常用的一种策略，即假设每个属性在类别之外最多依赖于一个其他属性，即

其中为属性所依赖的属性，称为的父属性。问题的关键转化为如何确定每个属性的父属性。
  最直接的做法是假设所有属性都依赖于同一个属性，称为“超父”（supper parent），然后通过交叉验证等模型选择方法来确定超父属性，称为SPODE（super parent ODE）。
  TAN（Tree Augmentend naive Bayes）则是在最大带权生成树（maximum weighted spanning tree）算法基础上，通过将属性间依赖关系（两个属性之间的条件互信息）简化为树形结构。
  AODE（Averaged ODE）是一种基于集成学习机制、更为强大的独依赖分类器，AODE尝试将每个属性作为超父来构建SPODE，然后将那些具有足够训练数据支撑的SPODE集成起来作为最终结果，即

拉普拉斯修正：

  为了避免其他属性携带的信息被训练集中出现的属性值“抹去”，在估计概率值时通常要进行“平滑”。具体来说，令表示训练集中可能的类别数，表示第个属性可能的取值数，