Kaldi命令词识别(续)

kaldi

task4 : 特征提取（FMCC）

完成了语言模型的构建，下面开始生成声学模型部分，首先对语音文件进行特征提取，这里用到了上面准备的文件，包括：text, wav.scp, utt2spk, spk2utt 。
run.sh中完成特征提取，并对语音进行归一化处理：

#gen MFCC features
rm -rf data/mfcc && mkdir -p data/mfcc &&  cp -R data/{train,cv,test} data/mfcc || exit 1;
for x in train cv test; do
   #make  mfcc 
   steps/make_mfcc.sh --nj $n --cmd "$train_cmd" data/mfcc/$x exp/make_mfcc/$x mfcc/$x || exit 1;
   #compute cmvn
   steps/compute_cmvn_stats.sh data/mfcc/$x exp/mfcc_cmvn/$x mfcc/$x || exit 1;
done

生成的特征提取相关文件保存在data/mfcc目录下，真实的数据保存在mfcc/目录下。

task5 : 训练声学模型、 构建解码图

该部分调用kaldi脚本，训练单音节模型，后面测试证明，单个词汇的识别，该模型同样能保证良好的识别效果，同样run.sh脚本中：

#monophone
#steps/train_mono.sh --boost-silence 1.25 --nj $n --cmd "$train_cmd" data/mfcc/train data/lang exp/mono || exit 1;

声学模型的训练结果文件保存在exp/mono目录下。下面构建解码图，这部分调用utils/mkgraph.sh， 利用先前创建的语言模型和上步训练的声学模型构建HCLG解码图，该部分生成的解码图保存在exp/mono/graph_word文件夹下：

utils/mkgraph.sh --mono --nj $n  data/graph/lang exp/mono exp/mono/graph_word  || exit 1;

task6: 测试

在local目录下创建data_decode.sh 脚本对解码步骤进行封装：

#!/bin/bash
#decoding wrapper
#run from ../
nj=2
mono=false
. ./cmd.sh ## You'll want to change cmd.sh to something that will work on your system.
. ./path.sh ## Source the tools/utils (import the queue.pl)
. utils/parse_options.sh || exit 1;

decoder=$1
srcdir=$2
datadir=$3

if [ $mono = true ];then
  echo  "using monophone to generate graph"
  opt="--mono"
fi

#decode word
$decoder --cmd "$decode_cmd"  $srcdir/graph_word $datadir/test $srcdir/decode_test_word || exit 1

在run.sh脚本中调用上脚本：

#test mono model
local/data_decode.sh --nj 2 "steps/decode.sh" exp/mono data/mfcc &

这里注意由于测试集只有两个说话者，并发度设置为2，否则会出现文件分割数与并发数不匹配的情况，解码过程主要用到特征提取后的test文件，上部分生成的解码图，测试结果在exp/mono/decode_test_word文件夹中查看。

为了对测试结果进行评估，还需在local目录下完成打分脚本相关的代码，这里参考thchs30，拷贝文件：score.sh、wer_output_filter 。

下面给出完整的run.sh脚本，之后运行脚本：

#!/bin/bash

. ./cmd.sh
. ./path.sh

run_path=`pwd`
n=8 #parallel jobs

#dataset path
dataset=~/dataset_wakeup

#data prepare
#gen text, wav.scp, utt2spk, spk2utt
local/data_prep.sh $run_path $dataset/King-ASR-M-005 || exit 1


#gen lang dir 
(
    echo "create new dir data/dict,lang,graph"
    cd $run_path
    mkdir -p data/{dict,lang,graph} && \
    cp $dataset//resource/dict/{extra_questions.txt,nonsilence_phones.txt,optional_silence.txt,silence_phones.txt} data/dict && \
    cat $dataset/resource/dict/lexicon.txt | \
    grep -v '<s>' | grep -v '</s>' | sort -u > data/dict/lexicon.txt || exit 1;
    utils/prepare_lang.sh --position_dependent_phones false data/dict "<SPOKEN_NOISE>" data/local/lang data/lang || exit 1;
    gzip -c $dataset/King-ASR-M-005/lm_word/word.arpa > data/graph/word.arpa.gz || exit 1;
    utils/format_lm.sh data/lang data/graph/word.arpa.gz $dataset/King-ASR-M-005/lm_word/lexicon.txt data/graph/lang || exit 1;
)

#gen MFCC features
rm -rf data/mfcc && mkdir -p data/mfcc &&  cp -R data/{train,cv,test} data/mfcc || exit 1;
for x in train cv test; do
   #make  mfcc 
   steps/make_mfcc.sh --nj $n --cmd "$train_cmd" data/mfcc/$x exp/make_mfcc/$x mfcc/$x || exit 1;
   #compute cmvn
   steps/compute_cmvn_stats.sh data/mfcc/$x exp/mfcc_cmvn/$x mfcc/$x || exit 1;
done

#monophone
steps/train_mono.sh --boost-silence 1.25 --nj $n --cmd "$train_cmd" data/mfcc/train data/lang exp/mono || exit 1;
#decode word

# make decoder graph
utils/mkgraph.sh --mono  data/graph/lang exp/mono exp/mono/graph_word  || exit 1;

#test mono model
local/data_decode.sh --nj 2 "steps/decode.sh" exp/mono data/mfcc &

运行脚本，由于数据量不大，并不需要很长时间，运行测试结束查看效果：

[uesrname@hostname scoring_kaldi]$ ls
best_wer  log  penalty_0.0  penalty_0.5  penalty_1.0  test_filt.txt  wer_details
[uesrname@hostname scoring_kaldi]$ more best_wer 
%WER 5.57 [ 100 / 1795, 19 ins, 4 del, 77 sub ] exp/mono/decode_test_word/wer_17_1.0

错词率为5.57%，在penalty_1.0中可以查看最好的识别结果。

小结

文章记录了从拿到语料库，到应用Kaldi的全过程，主要想对流程进行总结，对语音识别相关的原理没有涉及太多。另外这里仅仅训练了单音节模型，其他模型可以参照thchs30完成，这里不再补充。
过程中遇到的小问题很多，一个比较典型的，一开始想偷懒直接使用thchs30的词典，后来识别结果很差，单词均为一个或两个毫不相干的字。考虑自己语料库中的词汇在thchs30的词典中并未涉及，还是通过自己标注词典解决问题。

考虑篇幅，未完待续，原创文章，转载注明出处。
更多关注公众号：

wechat