zhaoyqiu的数据分析进阶之路2.0

中文常用停用词表

2020-10-17  本文已影响0人  喝奶茶不加奶茶

在进行汉语自然语言处理时候,分词是必不可少的环节,但是在实际的自然语言中,有很多的非实意词语或者其他并没有实际作用的词语,这些词语我们必须在分词环节后进行过滤—这个环节也就是过滤停用词.不过想要获得好的分词效果,必须首先进行比较好的分词处理.这一点也是十分重要的.

常用的中文停用词表:

词表名 词表文件
中文停用词表 cn_stopwords.txt
哈工大停用词表 hit_stopwords.txt
百度停用词表 baidu_stopwords.txt
四川大学机器智能实验室停用词库 scu_stopwords.txt
上一篇下一篇

猜你喜欢

热点阅读