python自学数据挖掘

[Practice] 使用python词云打造一个春

2018-03-06  本文已影响49人  敲代码的密斯想

“盼望着,盼望着,东风来了,春天的脚步近了”,惊蛰过后的申城已不再春寒料峭,草长莺飞的日子里,再次看到朱自清先生的《春》,恍然中回到年少的课堂,那些春日的时光真是恣意。

十多年过后再读这篇文章,词藻不算华丽,但每词每句都流露着一个春。今天我就用python将这篇文章中的词语描绘成花朵的样子,愿读这篇文章的你心里也能永住一个春哦。

《春》的词云
1. 提取词语

这里使用了jieba,作为一款比较智能的中文分词组件,我认为普通的文章创建词云使用它足够了。

jieba支持三种分词模式:

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  
结果:我/ 来到/ 北京/ 清华大学
seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式
结果:我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造")  # 搜索引擎模式
print(", ".join(seg_list))
结果:小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, ,, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

在这里我用了精准(也就是默认)模式对《春》进行了词语提取,效果还不赖。但是还是有些词提取的不准确,比如“山朗润起来了”分词的结果是“山朗润/起来/了”,显然jieba中没有“朗润”这个词,这里我需要将它手动添加进去:

jieba.add_word('朗润')
seg_list = jieba.cut("山朗润起来了", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))

结果变成了“山/朗润/起来/了“,符合预期。

利用jieba,我们将《春》做了分词。但是分词结果中会有很多“无意义”的不希望展示的词,例如:的,都,了,起来等。这里我用了一个txt文档来记录这些无意义的词,并用代码将这些词过滤:

def stopwords_filter(text):
    word_list = []
    with open('stopwords.txt', encoding='utf-8') as f:
        stop_text = f.readlines()
        stop_list = [word.strip() for word in stop_text]
        f.close()
    for word in text:
        if word.strip() not in stop_list:
           word_list.append(word)

    res = ' '.join(word_list)
    return res

进行了过滤的词就都是可以展示的词啦。

2.生成词云

Step 1. 引入WordCloud

from wordcloud import WordCloud

Step 2. 选择遮罩图

from scipy.misc import imread
mask = imread("mask.jpg")

我选了这张:


flower.jpg

Step 3. 设定词云参数

wc = WordCloud(background_color='white',  # 背景色
               max_words=1000,            # 最大显示词数
               colormap='summer',         # 颜色主题
               mask=mask,                 # 词云遮罩
               max_font_size=max_font_size,  # 最大字体大小
               stopwords=STOPWORDS,       # stopwords
               font_path='msyhbd.ttf',    # 字体路径
               random_state=16,           # 排列模式
               )

其中,colormap是wordcloud内置的颜色风格,有168种,我比较喜欢的风格有'summer' 、'PiYG_r'等;这里的STOPWORDS是wordcloud内置的,但对于中文支持并不是很好,所以我们还需要做一次前置的‘过滤’(如上文);font_path设定了字体的路径,这里我用了雅黑的ttf文件,还不赖;排列模式是指每个字在图中出现的位置,这里可以进行多次尝试选择出最喜欢的排列效果。

3.显示图片与保存

使用matplotlib中的pyplot来生成图片,代码如下:

import matplotlib.pyplot as plt

# wc是上述事例化的WordCloud,text是过滤后的词语列表
wc.generate(text)      

plt.imshow(wc)
# 不显示坐标轴
plt.axis('off')

plt.show(wc)
Set2 PiYG_r

这里有个小彩蛋,如果不想使用wordcloud内置的颜色主题而是想根据遮罩颜色来生成图片的话,可以使用recolor重新着色,代码如下:

from wordcloud import ImageColorGenerator
from scipy.misc import imread

# 解析遮罩
mask_color = imread(mask.jpg)
# 获取遮罩颜色
image_colors = ImageColorGenerator(mask_color)
# 重新着色
plt.imshow(wc.recolor(color_func=image_color))

获取的图片是这样的(好吧,遮罩颜色并不如意):


使用遮罩颜色

图片获取后可以通过wordcloud自带的保存图片的to_file来将图片保存至相应文件夹:

wc.to_file('result_file/wc.png')
备注:

word_cloud的168种colormap如下:

'Accent', 'Accent_r', 'Blues', 'Blues_r', 'BrBG', 'BrBG_r', 'BuGn', 'BuGn_r', 'BuPu', 'BuPu_r', 'CMRmap',
'CMRmap_r', 'Dark2', 'Dark2_r', 'GnBu', 'GnBu_r', 'Greens', 'Greens_r', 'Greys', 'Greys_r', 'OrRd',
'OrRd_r', 'Oranges', 'Oranges_r', 'PRGn', 'PRGn_r', 'Paired', 'Paired_r', 'Pastel1', 'Pastel1_r',
'Pastel2', 'Pastel2_r', 'PiYG', 'PiYG_r', 'PuBu', 'PuBuGn', 'PuBuGn_r', 'PuBu_r', 'PuOr', 'PuOr_r', 'PuRd',
'Purples', 'Purples_r', 'RdBu', 'RdBu_r', 'RdGy', 'RdGy_r', 'RdPu', 'RdPu_r', 'RdYlBu', 'RdYlBu_r',
'RdYlGn', 'RdYlGn_r', 'Reds', 'Reds_r', 'Set1', 'Set1_r', 'Set2', 'Set2_r', 'Set3', 'Set3_r', 'Spectral',
'Spectral_r', 'Vega10', 'Vega10_r', 'Vega20', 'Vega20_r', 'Vega20b', 'Vega20b_r', 'Vega20c', 'Vega20c_r',
'Wistia', 'Wistia_r', 'YlGn', 'YlGnBu', 'YlGnBu_r', 'YlGn_r', 'YlOrBr', 'YlOrBr_r', 'YlOrRd', 'YlOrRd_r',
'afmhot', 'afmhot_r', 'autumn', 'autumn_r', 'binary', 'binary_r', 'bone', 'bone_r', 'brg', 'brg_r', 'bwr',
'bwr_r', 'cool', 'cool_r', 'coolwarm', 'coolwarm_r', 'copper', 'copper_r', 'cubehelix', 'cubehelix_r',
'flag', 'flag_r', 'gist_earth', 'gist_earth_r', 'gist_gray', 'gist_gray_r', 'gist_heat', 'gist_heat_r',
'gist_ncar', 'gist_ncar_r', 'gist_rainbow', 'gist_rainbow_r', 'gist_stern', 'gist_stern_r', 'gist_yarg',
'gist_yarg_r', 'gnuplot', 'gnuplot2', 'gnuplot2_r', 'gnuplot_r', 'gray', 'gray_r', 'hot', 'hot_r', 'hsv',
'hsv_r', 'inferno', 'inferno_r', 'jet', 'jet_r', 'magma', 'magma_r', 'nipy_spectral', 'nipy_spectral_r',
'ocean', 'ocean_r', 'pink', 'pink_r', 'plasma', 'plasma_r', 'prism', 'prism_r', 'rainbow', 'rainbow_r',
'seismic', 'seismic_r', 'spectral', 'spectral_r', 'spring', 'spring_r', 'summer', 'summer_r', 'tab10',
'tab10_r', 'tab20', 'tab20_r', 'tab20b', 'tab20b_r', 'tab20c', 'tab20c_r', 'terrain', 'terrain_r',
           'viridis', 'viridis_r', 'winter', 'winter_r', 'PuRd_r'
上一篇下一篇

猜你喜欢

热点阅读