原文链接：在这里

---

最近在对照着nltk.book学习NLTK库，虽然网络上有中文翻译版，但是似乎并没有搭配Python3的译本，所以还是想按照自己的理解敲一遍，并且将文档中介绍Python基础操作的内容删去，只保留介绍NLTK库的内容，以方便后期使用时查阅和复习。
如果我有理解错误了的地方，非常欢迎大家留言指出!

---

Language Processing and Pyhton

import

impot nltk库是常规用法，我们使用from nltk.book import text1来载入特定的文本。但是一个好玩的事情是，即使我们指定了特定的文本，系统也会先输出book中的文本目录，看着就会很累。所以可以直接在lib里将book.py中的例行print都注释掉。

Searching Text

concotdance

concotance可以让我们在特定的文本中搜索特定的词汇。 concotance函数可以插入三个值，word,width,lines，word是待检索词汇，width是以待搜索词为中心向两边扩展开的长度，lines可以输出指定的结果行数。

from nltk.book import text1
text1.concotdance('man',width = 10,lines = 3)

similar

similar用来搜索文本中语义相近的词汇。

common_contexts

common_contexts用来搜索相似的词的共现文本（一般在使用了similar函数之后进行个例对比）。

dispersion_plot

dispersion_plot可以直观地显示特定词在文章整体中大体的分布位置。前提是要装好NumPy和Matplotlib库（更推荐是下Python的时候就直接下好Anocanda，里面包含很多数据处理所需的库）。

from nltk.book import text4
print(text4.dispersion_plot(["citizens", "democracy", "freedom", "duties", "America"]))

输出结果

Counting Vocabulary

len()

直接使用len()函数来测量文本总单词数，但是如果想要去除掉重复的单词和标点符号就要改变一下。

from nltk.book import text6
from string import puncuation
a = sorted(set(text6))
b = [for i in a if i not in puncuation]
print(len(b))

lexical richness

len(set(text6))/len(text6)

count a specific word

text6.count('smoke')

lexical_diversity()

python其实也内置了一个计算文本richness的函数lexical_diversity()，只需要传入需要分析的文本就可以。
而如果要计算某个特定的单词在文本中的占比也可以直接用函数percentage()函数，输入两个值count(出现次数)和total(样本总数)。

lexical_diversity(text3)
percentage(4,5)
percentage(text.count('a'),len(text4))

Frequency Distributions

FreqDist()

FreqDist()函数会创建若干个字符-字符在文本中出现次数的一个元组，但是它自身是内部函数自己定义的一个类，如果要使用，需要再调用内部的函数。

# 求最高频的50个词
from nltk.book import *
fdist = FreqDist(text1)
fdist.most_common(50)
# 还可以制图(递增顺序)
print(fdist.plot(50,cumulative = true))

Collocations and Bigrams

collcations 是一个出现频率较高的词组。
bigrams() 是用来将列表中的元素按照顺序进行二元组合。bigrams 是NLTK库自定义的一个类，所以想要输出需要转化类型输出。collecations本质上就是bigrams()在文本范围内的应用，除非我们要关注那些少数搭配。

print(list(bigrams(['more', 'is', 'said', 'than', 'done'])))
# 运行结果：[('more', 'is'), ('is', 'said'), ('said', 'than'), ('than', 'done')]

text4.collocations()
# 运行结果：United States; fellow citizens; four years; years ago; FederalGovernment; General Government; American people; Vice President; OldWorld; Almighty God; Fellow citizens; Chief Magistrate; Chief Justice;God bless; every citizen; Indian tribes; public debt; one another;foreign nations; political parties

补充函数

参考资料