02-TF-IDF分析问题

第二种特征抽取的方式：TF-IDF

tf：term frequency：词的频率
idf：inverse document frequency：逆文档频率：log(总文档数量/该词出现的文档数量)，总文档数量一定，如果该词实现的文档数量越多，值越小

重要性：tf * idf，即可得出一个词在文档中的重要性。类：sklearn.feature_extraction.text.TfidfVectorizer

为什么需要Tfidf：分类机器学习算法的重要依据

from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer
import jieba
def cutword():

    con1 = jieba.cut("今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。")
    con2 = jieba.cut("我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。")
    con3 = jieba.cut("如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。")

    #转换成列表
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)

    #把列表转换成字符串，并以空格隔开
    c1 = " ".join(content1)
    c2 = " ".join(content2)
    c3 = " ".join(content3)
    return c1, c2, c3

def tfidfverc():
    """
    中文特征值化
    :return: None
    """
    c1, c2, c3 = cutword()
    print(c1, c2, c3)
    tf = TfidfVectorizer()
    data = tf.fit_transform([c1, c2, c3])
    print(tf.get_feature_names())
    print(data.toarray())   #每一个子列表代表一句话，里面的元素为词的重要性
    # print(len(data.toarray()))
    return None

if __name__ == "__main__":
    tfidfverc()