如何统计自编教材的生词

在对外汉语课堂上，由于一些特殊的教学需求，不少学校都选择自编教材。然而在编写过程中，如何统计每篇课文的生词是个问题。主要困难点在于

1. 需要把课文分成一个一个的中文词

2. 需要把第一次出现的词（即生词）提取出来

前者可以利用编程语言Python来实现。后者可以用Excel的去重功能来实现。

利用Python分词

安装Python

请看百度经验

在windows下的安装稍微复杂一些，在mac下超级方便。

安装插件-jieba

jieba是最好的中文分词工具（官网上这么说的）。打开windows的cmd或者mac上的终端，输入以下命令安装：

pip install jieba #这是python2环境下的安装代码

pip3 install jieba #这是python3环境下的安装代码

文本处理

软件方面的准备都做完了，接下来需要把文本都准备好。因为我们的课文都是不同的文档，所以我们要用python完成的步骤如下：

1. 把课文的文档按照一定规律命名，比如Lesson1, Lesson2…（用windows的重命名功能就能实现）

1. 读取课文1的文档
2. 利用插件jieba给课文1分词
3. 把分词的结果输出到一个新的文档，保存
4. 读取课文2的文档，依次循环

执行代码

代码如下，#后的文字是解释代码的意思，看不懂可以跳过：

#设置一个循环，如果有10篇课文，就是1~11(python不读最后一个数字)
for num in range(1,11):
#设定课文文档的路径,用%代表数字，读取文档
    url = "/users/Arthur/desktop/Text/Lesson%s.txt" %num
    file_read = open(url,'r')
    try:
        all_the_text = file_read.read()
    finally:
        file_read.close()
#导入一个正则表达式，把课文里的符号都去除，否则会影响分词
    import re
    punctuation = '/！:。，._？,：、《》（）……~“”'
    def remove_punctuation(text):
        new_text = re.sub(r'[{}]+'.format(punctuation),'',text)
        return new_text

    no_punctuation = remove_punctuation(all_the_text)
#导入jieba插件，把分词的结果保存到一个数组里
    import jieba
    seg_list = jieba.cut(no_punctuation)
    new_seg_list = []
    for i in seg_list:
        if i not in new_seg_list:
            new_seg_list.append(i)
#把分词的结果变成一行一个，方便以后的统计
    word_list = '\n'.join(new_seg_list)
#把分词结果输出到一个新建的txt文件中，保存
    file_write= open("/users/Arthur/desktop/WordList/Lesson%s-wordlist.txt" %num,'w')
    file_write.write(word_list)
    file_write.close()
    print(url)
    num = num + 1

把这段代码复制到txt文档里，修改以下的部分就能自己使用啦：

1. 把循环的数字换掉，比如自己的课文一共是20篇，那么就换成（1,21)

2. 把读取和保存的路径换掉，换成自己电脑的路径
3. 把文件的后缀名改成.py，就能运行啦

如果一切顺利，分词之后的结果是这样的：

我
的
朋友

说
这家
饭店
菜
很
好吃

当然，jieba分词也不是十全十美的，因为中文课堂上的生词往往是最小颗粒度的。所以还需要人肉排查一下，把分错了的词给修复。比如“这家”，就需要拆分成“这”和“家”。全部课文都扫一遍之后就能利用Excel处理生词啦。

利用Excel提取第一次出现的生词

用Excel处理生词的思路如下：

1. 把每一课的分词结果汇总，放在一张表里

2. 把同一课里重复出现的生词去除
3. 统计每一个词在前面所有课文里出现的次数（如果次数为0，那么就说明是生词啦）
4. 把剩下的次数不为0的词，全部删除
5. 统计每一课生词的个数

分词汇总

把每一课的分词结果汇总到Excel表里，ctrl + c和 ctrl + v，这个都不会的请放弃吧……这篇教程并不适合你。

表格看起来应该是这样的，旁边空着的一列有用处，后面会讲到：

生词汇总

去除同一篇课文里的重复词

由于jieba分词不能去除同一篇课文里的重复词，所以我们用Excel的这个功能来把重复值挑出来：

选中一列==>条件格式==>突出显示单元格规则==>重复值

现在每篇课文的重复值就出现了，手工删之。

重复值

统计生词的出现次数

现在我们有了一张包括所有课文的、同一篇课文里没有重复的生词表。接下来我们要统计某个生词在之前的所有课文里的出现次数，如果是0，那就说明是生词，如果不是0，那说明在之前的课文里出现过，删掉就好。还记得刚才空着的一列么，就是用来统计次数用的，用以下命令：

=COUNTIF($A:B,C2)

COUNTIF是个命令的名称，用来统计个数。A:B表示从A列到B列的所有单元格，$A表示A列固定不动，C2表示C2单元格，整个公式的意思是：统计C2这个单元格在A列到B列里一共出现了几次

如果顺利的话，应该会出现如下的样式：

统计出现次数

为什么第一课是空的？因为第一课不需要统计……

好啦，然后用排序功能，把数字不是0的排到前面，然后手工删除就可以了。剩下的就都是生词啦。

接下来就是格式调整，不多说了。

这样一份生词表就出炉了~有兴趣的话可以试试，遇到了问题也欢迎留言沟通。

下一期会介绍一下如何统计整本教材的词汇量、句子长度的趋势。

不会写代码的中文老师不是好产品经理。