统计学习方法——修炼学习笔记10：隐马尔可夫模型
2020-04-11 本文已影响0人
Sam_L
一、隐马尔可夫模型的基本概念
1、隐马尔可夫模型定义
隐马尔可夫模型是关于时序的模型，
描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列， 再由各个状态生成一个观测而产生观测随机序列的过程，序列的每一个位置又可以看作是一个时刻。
组成：
- 初始概率分布
- 状态转移概率分布
-
观测概率分布
image.png
隐马尔可夫模型两个基本假设：
image.png
2、观测序列的生成过程
image.png
3、隐马尔可夫模型的3个基本问题
（1）概率计算问题
image.png
（2）学习问题
image.png
（3）预测问题（解码）
image.png
二、概率计算算法
1、直接计数法
image.png
最直接的方法：
image.png
image.png
复杂度（这种算法不可行）：
image.png
2、前向算法
前向概率
image.png
观测序列概率的前向算法
image.png
image.png
复杂度：
image.png
image.png
3、后向算法
后向概率
image.png
观测序列概率的后向算法
image.png
image.png
利用前向概率和后向概率的定义可以将观测序列概率P(O|λ)统一写成：
image.png
4、一些概率与期望值的计算
image.png
image.png
image.png
三、学习算法
-
监督学习方法
假设训练数据是包括观测序列O和对应的状态序列I
image.png
可以利用极大似然估计法来估计隐马尔可夫模型参数。
- 非监督学习方法：
计算训练数据只有S个长度为T的观测序{O1,O2,…Os}
采用Baum-Welch算法
1、监督学习方法
已知：
image.png
（1）转移概率的估计
image.png
（2）观测概率的估计
image.png
（3）初始状态概率的估计为S个样本中初始状态为qi的频率
image.png
2、Baum-Welch算法
假定训练数据只包括{O1,O2,…Os}
求模型参数 λ=(A,B,π)
实质上是有隐变量的概率模型：EM算法
image.png
参数学习可由EM算法实现
（1）确定完全数据的对数似然函数
image.png
（2）EM算法的E步：求Q函数
image.png
（3）EM算法的M步：极大化函数求模型参数A,B,π
image.png
Baum-Welch算法
image.png
四、预测算法
1、近似算法
近似算法的想法：（得到的状态有可能实际不发生）
image.png
2、维特比算法
用动态规划解概率最大路径，一个路径对应一个状态序列。
最优路径特性：
image.png
image.png
维特比算法
image.png
