文本预处理

(1)分句        替换\n

(2)分词        jiabe jiagu,hanlp,pkuseg

(3)取出标点 ,.?""；

(4)取出停用词

tf-idf

(1)词带

(2)tf

第一步，计算词频。

考虑到文章有长短之分，为了便于不同文章的比较，进行"词频"标准化。

或者

第二步，计算逆文档频率。

这时，需要一个语料库（corpus），用来模拟语言的使用环境。

如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词）。log表示对得到的值取对数。

第三步，计算TF-IDF。

tf_idf的功能

(1) 获得关键词

(2)文本相似性

(3)摘要

(4)文章主题