自然语言处理——7.4 分词与词性标注结果评价方法

2018-10-08 本文已影响79人 SpareNoEfforts

两种测试

评价指标

测试结果中正确切分或标注的个数占系统所有输出结果的比例。假设系统输出 $N$ 个，其中，正确的结果为 $n$ 个，那么，

${\rm{P = }}\frac{n}{N} \times 100\%$

测试结果中正确结果的个数占标准答案总数的比例。假设系统输出N 个结果,其中，正确的结果为 $n$ 个，而标准答案的个数为 $M$ 个，那么，

${\rm{R = }}\frac{n}{M} \times 100\%$

两种标记：
$R_{OOV}$ 指集外词的召回率；
$R_{IV}$ 指集内词的召回率。

计算公式为：
$F - measure = \frac{{({\beta ^2} + 1) \times P \times R}}{{{\beta ^2} \times P + R}} \times 100\%$

一般地，取 $\beta=1$ ，即：

$F1 = \frac{{2 \times P \times R}}{{P + R}} \times 100\%$