用Py做文本分析2：结巴分词

分词的算法有两大类：

• 基于字符串的匹配：即通过扫描字符串，如果发现字符串的子串和词相同，就算匹配上了。因其简单粗暴，往往会加入一些启发式规则，如“正/反向最大匹配”，“长词”优先等。这种算法的优点是速度快，但对歧义和未包含的词处理不好。
• 基于统计和机器学习的分词方式：这是一种基于人工标注的词性和统计特征进行建模，进而得出分词概率的分词方法。常见的标注模型有HMM何CRF。这类算法能很好地处理歧义和未登录词的问题，但是因需要人工标注数据，分词速度比较慢。

分词是一个比较大的坑。原因有：

• 分词歧义
• 未登录词识别：数字、实体名称/专业术语、成语、虚词、语气词

结巴分词是目前应用最广、评价比较高的分词工具包。
如何在anaconda中安装jieba分词

1.基本模式

结巴分词共有四种分词模式：

• 精确模式，试图将句子最精确地切开，适合文本分析；
• 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
• 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
• paddle模式，利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。

import jieba

tmpstr = '郭靖和哀牢山三十六剑。'
res = jieba.cut(tmpstr) #精确模式（默认）
print(res) #是可迭代的生成器，可用for循环遍历，本质上类似于list

<generator object Tokenizer.cut at 0x000002DCD667F750>

#1精简模式
print(' '.join(res))

郭靖 和 哀牢山 三十六 剑 。

 #将可迭代对象转换为列表
res = jieba.cut(tmpstr)
list(word for word in res) 

['郭靖', '和', '哀牢山', '三十六', '剑', '。']

#结果直接输出为list
print(jieba.lcut(tmpstr)) 

['郭靖', '和', '哀牢山', '三十六', '剑', '。']

#2全模式
print('/'.join(jieba.cut(tmpstr, cut_all=True)))

郭/靖/和/哀牢山/三十/三十六/十六/剑/。

print(jieba.lcut(tmpstr, cut_all=True))

['郭', '靖', '和', '哀牢山', '三十', '三十六', '十六', '剑', '。']

#3搜索引擎模式
print('/'.join(jieba.cut_for_search(tmpstr)))

郭靖/和/哀牢山/三十/十六/三十六/剑/。

print(jieba.lcut_for_search(tmpstr))

['郭靖', '和', '哀牢山', '三十', '十六', '三十六', '剑', '。']

2.使用词典

“哀牢山三十六剑”是一个完整的词，但以上的分词却把它进行了拆分。为了解决这一问题，我们需要添加该词，即告诉电脑“哀牢山三十六剑”是一个完整的词，请不要拆分。

#添加新词
jieba.add_word('哀牢山三十六剑')
print('/'.join(jieba.cut(tmpstr)))

郭靖/和/哀牢山三十六剑/。

#删除新词
jieba.del_word('哀牢山三十六剑')
print('/'.join(jieba.cut(tmpstr)))

郭靖/和/哀牢山/三十六/剑/。

如果词很少，可以手工添加，当词量很大时，我们可以考虑加载对应的词典来解决问题。

词典的基本格式是：

• 一个词占一行：词、词频（可省略）、词性（可省略），用空格隔开
• UTF-8编码（jieba是以UTF-8为基准）

#使用本地的词典
dict = 'D:/Files/program data/nlp/PythonData/金庸小说词库.txt'
jieba.load_userdict(dict) #dict为自定义词典的路径
print('/'.join(jieba.cut(tmpstr)))

郭靖/和/哀牢山三十六剑/。

关于词库，这里推荐
搜狗细胞词库
由于下载后的格式不是txt，还需要转换下格式：

• 深蓝词库转换
• 奥创词库转换

3.去除停用词

有时我们需要进行词频统计，不出意外会发现高频词都是如“的”、“只”等常用词，这些词往往不带有有效信息，因此需要将其去除（停用）。

• 常用词：的、地、得...
• 虚词：如介词、连词等
• 专业领域的常用词
• 根据情况而定：呵呵...
  具体的有如下的思路：

思路一：分词后去除停用词

• 读入停用词表
• 正常分词
• 在分词结果中去除停用词
  新列表=[word for word in 原列表 if word not in 停用词表]
  存在的问题：停用词必须要被分词过程正确拆分出来

#分词后去除停用词
newlist = [w for w in jieba.cut(tmpstr) if w not in ['和', '。']]
print(newlist)

['郭靖', '哀牢山三十六剑']

import pandas as pd
tmpdf = pd.read_csv('D:/Files/program data/nlp/PythonData/停用词.txt',
                   names=['w'], sep='aaa', encoding='utf-8')newlist = [w for w in jieba.cut(tmpstr) if w not in list(tmpdf.w)]
print(newlist)

['郭靖', '哀牢山三十六剑']

思路二：使用extract_tags函数
在提取之前去掉通用词，根据TF-IDF算法将特征词提取出来。此外，可以人工指定停用词字典。

#使用extract_tags函数
import jieba.analyse as ana
ana.set_stop_words('D:/Files/program data/nlp/PythonData/停用词.txt')
ana.extract_tags(tmpstr, topK=20)

['郭靖', '哀牢山三十六剑']

4.词性标注

词性标注采用的是
ICTCLAS 汉语词性标注集

import jieba.posseg as psg

tmpres = psg.cut(tmpstr) #附加词性的分词结果
print(tmpres)

for item in tmpres:
    print(item.word, item.flag)

<generator object cut at 0x000002DCDC382B88>
郭靖 x
和 c
哀牢山三十六剑 x
。 x

#直接输出为list，成员为pair
psg.lcut(tmpstr)

[pair('郭靖', 'x'), pair('和', 'c'), pair('哀牢山三十六剑', 'x'), pair('。', 'x')]

psg.lcut(tmpstr)[0].word

'郭靖'

参考资料：
Python数据分析--玩转文本挖掘