中文分词利器jieba、jiagu使用心得

1、jieba项目地址：https://github.com/fxsjy/jieba

2、jiagu项目地址：https://github.com/ownthink/Jiagu

使用心得：

1、利用jieba进行关键词提取，提取之前可以通过

        1、词性标注进行过滤，主要使用参数allowPOS ，

        2、加载停用词表进行词汇的过滤

2、关键词提取函数

jieba.analyse.extract_tags（）基于tf-idf

jieba.analyse.textrank（）基于textrank

函数参数有一下几个：

sentence 为待提取的文本

topK 为返回的关键词数量，默认值为20

withWeight 为是否一并返回关键词权重值，默认值为False

allowPOS 仅包括指定词性的词，默认值为空，即不筛选

3、关键词提取算法详细原理，以及jieba源代码实习该算法的原理，推荐看这篇文章https://blog.csdn.net/suibianshen2012/article/details/68927060

4、利用jiagu进行关键词提取：jiagu使用的是深度学习，需要训练模型，所以好像很慢，就不推荐了。自己可以参考官方文档，跑跑，测试下。

5、jieba采用的词性表，可以找这个链接：https://blog.csdn.net/csdn_yxy/article/details/84974726，具体参数如图所示：