中文常用停用词表
2020-10-17 本文已影响0人
喝奶茶不加奶茶
在进行汉语自然语言处理时候,分词是必不可少的环节,但是在实际的自然语言中,有很多的非实意词语或者其他并没有实际作用的词语,这些词语我们必须在分词环节后进行过滤—这个环节也就是过滤停用词.不过想要获得好的分词效果,必须首先进行比较好的分词处理.这一点也是十分重要的.
常用的中文停用词表:
词表名 | 词表文件 |
---|---|
中文停用词表 | cn_stopwords.txt |
哈工大停用词表 | hit_stopwords.txt |
百度停用词表 | baidu_stopwords.txt |
四川大学机器智能实验室停用词库 | scu_stopwords.txt |