第七章 数据预测与估算算法——基于条件随机场的序列预测

7.6 基于条件随机场的序列预测

条件随机场是Lafferty与2001年提出的一种基于最大熵模型和隐马尔可夫模型的判别式概率无向图学习模型，主要用于标注和切分有序数据。

7.6.1 原理分析

条件随机场的几个重要概念：随机场、马尔可夫随机场、马尔可夫性质和条件随机场等。

1、随机场

随机场是指当给每个位置按照某种分布随机赋予相空间后的随机变量全体。随机场可以看作一组随机变量的集合，这组随机变量对应同一个样本集合。同时，这些随机变量之间可能有依赖关系。

2、马尔可夫随机场

马尔科夫随机场对应一个无向图，且无向图上的每个结点对应一个随机变量，两个结点之间的边表示两个随机变量之间的依赖关系。

3、马尔可夫性质

马尔可夫性质在马尔可夫随机场中的体现即在马尔科夫随机场中，随机变量的概率分布只和它相邻的结点有关，而与其他结点无关。

4、条件随机场

条件随机场是给定一组随机变量的条件下另一组输出随机变量的条件概率分布。条件随机场本质上就是给定了观察值集合的马尔可夫随机场。

条件随机场的学习方法：

1、问题描述：根据给定的训练集估计条件随机场模型参数。

2、学习方法包括：极大似然估计、正则化的极大似然估计。

3、预测结果：对于给定的输入序列x，求出条件概率最大的输出序列。

条件随机场的预测问题根据维特比算法进行求解。

条件随机场和隐马尔可夫都可以用作序列标准问题的解决方案，但是隐马尔可夫模型最大的缺陷在于：由于它的独立性假设，所以没有考虑全局上下文的关系特征。

7.6.2 条件随机场的优缺点

优：

1、因为条件随机场可以直接对后验概率建模，所以它可以容纳任意的上下文信息，同时，条件随机场的特征设计灵活。

2、条件随机场能够计算出全局最优输出结点的条件概率，对所有可能的序列组合进行归一，解决了马尔可夫模型存在的标记偏置的问题。

3、条件随机场在给定需要标记的观测序列的条件下，计算整个标记序列的联合概率分布，考虑标号序列之间的关系，而不是把假设标注之间独立。

缺：

训练代价大，复杂度高。