<<数学之美>> part2

摘要 : [隐含马尔可夫模型] [维特比算法]

隐含马尔可夫模型

任意一个时刻的状态St是不可见的,所以观察者无法通过序列S1,S2....来推测转移概率,但是任意时刻的状态St会对应一个可见的状态Ot,且Ot只与St有关,因此S1,S2...St本质上也是一个马尔可夫链,由于它本身的不可见行,因此称为隐含马尔可夫模型;

隐含马尔可夫模型训练

利用隐含马尔可夫模型解决实际问题需要已知以下条件:

1. 状态与状态见的转移概率;
2. 隐状态与观察状态之间的发射概率/生成概率;

得到这两个条件的过程称之为模型训练:

• 采用人工标注的方法,成为有监督的训练方法;
  • 缺点:人工成本太高,且在部分应用不可用(例如语音识别);
  • 优点:可以达到理论上的最优值;
• 采用鲍姆--韦尔奇算法,即无监督的训练方法:
  • 缺点:很多情况下无法达到理论的最优值;
  • 优点:不需要人工标注,适用于各种应用;

维特比算法求最大概率

参考 维特比算法解析&Python实现

总结--隐含马尔可夫模型

隐含马尔可夫模型最初适用于通信领域,继而扩展到语音和语言处理中,因此成为了连接自然语言和通信的桥梁,同时,隐含马尔可夫模型也是机器学习的主要工具之一,它需要一个训练算法(鲍姆--韦尔奇算法)和使用时的解码算法(维特比算法),掌握这两个算法,基本就可以在实际应用中使用该模型处理问题了;

Thanks Doctor JunWu;