自然语言处理——6.4 HMM之后向算法

2018-10-04 本文已影响0人 SpareNoEfforts

1. 基本思想

定义后向变量 ${\beta _T}(i)$ 是在给定了模型 $\mu=(A, B, \pi)$ 和假定在时间 $t$ 状态为 $S_i$ 的条件下，模型输出观察序列 $O＝O_1O_2 …O_T$ 的概率：
${\beta _T}(i)=p(O＝O_1O_2 …O_T|q_t=S_i,\mu)$ ……（公式6.15）

2. 算法求解

与前向变量一样，运用动态规划计算后向量：
(1)从时刻 $t$ 到 $t+1$ ，模型由状态 $S_i$ 转移到状态 $S_j$ ，并从 $S_j$ 输出 $O_{t+1}$ ；
(2)在时间 $t+1$ ，状态为 $S_j$ 的条件下，模型输出观察序列 $O_{t+2}O_{t+3} …O_T$ 。

第一步的概率： ${a_{ij}} \times {b_j}({O_{t + 1}})$
第二步的概率按后向变量的定义为： ${\beta _{T + 1}}(j)$
于是，有归纳关系：
${\beta _T}(i) = [\sum\limits_{j = 1}^N {{b_j}({O_{t + 1}})} {a_{ij}}] \times {\beta _{t + 1}}(j)$ ……（公式6.16）
归纳顺序： ${\beta _T}(x),{\beta _{T - 1}}(x),...,{\beta _1}(x)$ ( $x$ 为模型的状态)