背景

场景一：互联网技术大会，主讲人中有不少国外大牛，演讲中经常中英文夹杂。现在需要你们组做现场语音识别支持。如何在中文识别很好的前提下，对中英文夹杂部分也能很好的识别？
场景二：友商要做一次路演，演讲中有很多以前闻所未闻的固定句式。现在需要你们做现场语音识别支持。如何在通用识别效果不降的前提下，对那些不常见的固定内容也能很好的识别？

上面两个场景设计到实际语音识别中经常遇到的两个问题：

• 临时有未登录词需要识别，比如英文词汇或者通讯录人名识别等，如：这个idea真的很amazing。打电话给鲁智深。
• 需要对一些常见的句式做增强，比如最近需要做活动，一些特定的句式或者题库部分需要识别100%正确。如：边小溪给我讲个推荐一部电影吧。我想看扫毒之天地对决。

针对第一类未登录词识别需求，常见的做法有两种：

• 一种是收集相关语料和新词，重新训练语言模型，同时修改词典以及重新生成相关资源，接着重新构图，测试上线。语言模型如果重新训练时间比较久，可以考虑用新增语料训练一个小语言模型，与原先的语言模型插值生成新语言模型。
• 第二种方式就是on the fly 方式，根据新词构建一个小网络，与原先的HCLG合并生成一个新的HCLG。

针对第二类固定句式强化需求，常见的做法有两种：

• 一种是同上面一样，重新训练语言模型。
• 第二种方式就是lattice lmrescore。注意lattice lmrescore是无法识别未登录词的。

未登录词识别两种解决办法中：
第一种方式效果好。缺点是速度慢，资源变动多。演讲稿大纲变了，又新添了很多英文新词汇......
第二种方式效果一般，优点是速度快，主体资源无需变动，这一点对需要对接很多很多业务的工作人员来说是很重要的。这次重点讲第二种方式，也就是kaldi 5.5版本新增的Support for grammars and graphs with on-the-fly parts部分

原理

解码过程中，根据StateId 是norm还是special，走不同的网络，norm情况走Top HCLG，special 根据fst instance走对应的Part HCLG。

解码时

special 的依据是判断final-prob是否是某个特定值(4096.0)。具体来说就是解码过程内部循环ArcIterator初始化时做判断，kaldi代码见下面两张图：

lattice-faster-decoder.cc decoder/grammar-fst.h
aiter type 是 fst::ArcIterator<fst::GrammarFst>，也就是说online2bin/online2-wav-nnet3-latgen-grammar代码相比较原先的解码代码：主要变化是ConstFst 变为 GrammarFst，对应的decoder模板参数也发生了变化。

解码前

主要是grammar的构造，utils/mkgraph 中会根据情况调用make-grammar-fst，主要做两件事：

• 设置special state 的 final-cost = 4096.0
• 插入epsilon arcs确保一个state只能进入一个网络。

流程

具体见local/grammar/extend_vocab_demo.sh脚本

TOP HCLG

需要修改三个地方：

• NGram，arpa模型中需要有unk，需要对unk做一个替换。

cat traih.lm | sed 's/<unk>/#nonterm:unk/g' | \ 
arpa2fst --disambig-symbol=#0 --read-symbol-table=$lang_base/words.txt - | \
fstrmsymbols --remove-from-output=true "echo $nonterm_unk|" - $lang_base/G.fst

• words.txt 添加如下部分

#nonterm_begin 125463
#nonterm_end 125464
#nonterm:unk 125465

• phones.txt

#nonterm_bos 277
#nonterm_begin 278
#nonterm_end 279
#nonterm_reenter 280
#nonterm:unk 281

其他部分见通常的HCLG.fst构建过程

Part HCLG部分（也就是需要增加的新词HCLG部分）

• 词典准备

dota 1.0    d ao1 t a1
iphone 1.0  aa ai1 f eng4
...

• 生成G.txt以及G.fst
  构图HCLG1.fst

• 合并make-grammar-fst
  HCLGo.fst HCLG1.fst → HCLG.fst

一些坑

• 如果不做特殊处理，指定了词典的中文语言模型是无法生成unk的。
  如 打电话给鲁智深 分词后 打电话 给 鲁 智 深
  解决办法
  • 对人名打标签，让人名作为一个整体:
    打电话 给 鲁智深 指定词典中如果没有鲁智深这个词，就会变成:打电话 给 unk
  • 正则表达式生成一些包含unk的常见句子：
    打电话 给 unk
    给 unk 发短信
    ...
• This framework is limited to work only with left-biphone models，like chain model

Reference
https://kaldi-asr.org/doc/grammar.html