1 字典特征抽取

字典数据抽取:把字典中一些类别的数据分别进行转换成特征。
用到的代码是sklearn.feature_extraction.DictVectorizer

from sklearn.feature_extraction import DictVectorizer
def dictvec():
      dict = DicVectorizer(sparse=False) #矩阵形式 或者data.toarray()
      data = dict.fit_transform([{'city':'北京','temperature':100},{'city':'上海','temperature':60},{'city':'深圳','temperature':30}])  
      print(dict.get_feature_names())
      print(data)
if __name__=='__main__':
      dictvec()

输出：
['city=上海', 'city=北京', 'city=深圳', 'temperature']
[[ 0. 1. 0. 100.]
[ 1. 0. 0. 60.]
[ 0. 0. 1. 30.]]

2 文本特征抽取

2.1 CountVectorizer

对英文文本进行特征值化:
1、统计文章中所有的词，重复只看作一次
2、对每篇文章，在词的列表里进行统计每个词出现的次数
3、单个字母不统计。对于单个英文字母不同：没有分类依据
CountVectorizer：常用于文本分类，情感分析

from sklearn.feature_extraction.text import CountVectorizer
def cv():
    cv = CountVectorizer()
    data=cv.fit_transform(['life is short,i like python','life is too long,i dislike python'])
    print(cv.get_feature_names())
    print(data.toarray())

输出：
['dislike', 'is', 'life', 'like', 'long', 'python', 'short', 'too']
[[0 1 1 1 0 1 1 0]
[1 1 1 0 1 1 0 1]]

然而对于中文文本又是什么情况呢？

from sklearn.feature_extraction.text import CountVectorizer
def cv():
    cv = CountVectorizer()
    data = cv.fit_transform(['人生苦短，我喜欢python','人生漫长，不用python'])
    print(cv.get_feature_names())
    print(data.toarray())
if __name__=='__main__':
      cv()

输出：
['不用python', '人生漫长', '人生苦短', '我喜欢python']
[[0 0 1 1]
[1 1 0 0]]

我们可以看到程序自动给我们分隔了中文文本，然而划分的很粗糙，想划分的细点的话就要手动给他进行空格，如：

data = cv.fit_transform(['人生 苦短，我 喜欢 python','人生 漫长，不用 python'])

这样会很麻烦，我们可以用jieba进行分词：

from sklearn.feature_extraction.text import CountVectorizer
import jieba
def cut():
    con1=jieba.cut('今天很残酷，明天更残酷，后天很美好')
    con2=jieba.cut('我们看到的从很远星系来的光是在几百万年之前发出的,这样当我们看到宇宙时，我们是在看它的过去')
    con3=jieba.cut('如果只用一种方式了解某样事物，你就不会真正了解它。')
    #转成列表
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)
    #转成字符串
    c1 = ' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)
    return c1,c2,c3
def cv():
    c1,c2,c3 = cut()
    print(c1,c2,c3)
    cv = CountVectorizer()
    data = cv.fit_transform([c1,c2,c3])
    print(cv.get_feature_names())
    print(data.toarray())
if __name__=='__main__':
    cv()

输出：

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\ADMINI~1\AppData\Local\Temp\jieba.cache
Loading model cost 1.017 seconds.
今天 很 残酷 ， 明天 更 残酷 ， 后天 很 美好 我们 看到 的 从 很 远 星系 来 的 光是在 几百万年 之前 发出 的 , 这样 当 我们 看到 宇宙 时 ， 我们 是 在 看 它 的 过去 如果 只用 一种 方式 了解 某样 事物 ， 你 就 不会 真正 了解 它 。
['一种', '不会', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '只用', '后天', '如果', '宇宙', '我们', '方式', '明天', '星系', '某样', '残酷', '看到', '真正', '美好', '过去', '这样']
[[0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 2 0 0 1 0 0]
Prefix dict has been built succesfully.
 [0 0 1 0 0 0 1 1 1 0 0 0 1 3 0 0 1 0 0 2 0 0 1 1]
 [1 1 0 2 1 0 0 0 0 1 0 1 0 0 1 0 0 1 0 0 1 0 0 0]]

2.2 TfidfVectorizer

对于文本特征抽取，更常用的是TfidfVectorizer
它度量了一个词对于一个文档的重要程度，如果对于一篇文档重要，另一篇不重要，则可以作为划分标准
Tf-term frequency词的频率
idf-你文档频率（inverse document frequency） log(总文档数量/该次出现的文档数量)
tf*idf-重要性程度

from sklearn.feature_extraction.text import TfidfVectorizer
import jieba
def cutword():
    con1 = jieba.cut('今天很残酷，明天更残酷，后天很美好')
    con2 = jieba.cut('我们看到的从很远星系来的光是在几百万年之前发出的,这样当我们看到宇宙时，我们是在看它的过去')
    con3 = jieba.cut('如果只用一种方式了解某样事物，你就不会真正了解它。')
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)
    c1 = ' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)
    return c1,c2,c3
def tfidfvec():
c1,c2,c3=cutword()
    tf = TfidfVectorizer()
    data = tf.fit_transform([c1,c2,c3])
    print(tf.get_feature_names())
    print(data.toarray())
    return None
if __name__=='__main__':
    tfidfvec()

输出

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\ADMINI~1\AppData\Local\Temp\jieba.cache
Loading model cost 1.266 seconds.
['一种', '不会', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '只用', '后天', '如果', '宇宙', '我们', '方式', '明天', '星系', '某样', '残酷', '看到', '真正', '美好', '过去', '这样']
Prefix dict has been built succesfully.
[[0.         0.         0.         0.         0.         0.35355339
  0.         0.         0.         0.         0.35355339 0.
  0.         0.         0.         0.35355339 0.         0.
  0.70710678 0.         0.         0.35355339 0.         0.        ]
 [0.         0.         0.21821789 0.         0.         0.
  0.21821789 0.21821789 0.21821789 0.         0.         0.
  0.21821789 0.65465367 0.         0.         0.21821789 0.
  0.         0.43643578 0.         0.         0.21821789 0.21821789]
 [0.28867513 0.28867513 0.         0.57735027 0.28867513 0.
  0.         0.         0.         0.28867513 0.         0.28867513
  0.         0.         0.28867513 0.         0.         0.28867513
  0.         0.         0.28867513 0.         0.         0.        ]]