用python词云包wordcloud做战狼2豆瓣短评分析

在家咸鱼好多天，决定蹭一波儿票房突破40亿的《战狼2》的热度。以下分别从结果展示、数据获取、数据清洗、结构化处理等四部分分别加以阐述：

一、结果展示

词云图是是一种很直观也很有趣的文本描述形式，Python的wordcloud包就可以构建词云，并且能够自定义图片（即color_mask）。而wordcloud包在windows环境下安装时，可能会报如下错误：mocrosoft visual c++ 14.0 is required，导致安装失败。分享一个可行的解决方案：通过whl文件进行间接安装。在网站http://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud上找到和自己系统以及python版本相吻合的wordcloud包的whl文件，然后通过pip命令即可安装成功。
在我的实验中，将获取到的短评文本经过简单的数据预处理（数据清洗、分词、计算词频）之后，生成词云图。如下图所示，字号越大的词，在拆分出的词的集合中出现频率越高。显而易见，“吴京”、“中国”、“电影”、“动作”等几个高频词表明了这部电影的关键人物、电影类型及题材等关键信息。（为了呼应电影名，找了一幅狼的图片做color_mask）

图1.战狼部分短评词云图

二、数据获取

豆瓣的开源工作做得挺好，我们需要的电影短评数据都可以静态爬下来。下图是一条短评的网页源码，非常规整。完整的代码就不贴了，只需要把LSTM天气预测那篇的正则表达式对应更改即可。

图2.一条短评的网页源码

temp_data = re.findall(r'<p.*?class="">(.*?)</p>', str(item), re.S)   #影评
self.datas.extend(temp_data)

举个反例：猫眼电影专业版的票房数据就很坑，票房、平均票价和场均人次数据还是经过动态加密的。

图3.票房数据的网页源码

对应上述源码的7、8、9行的数值如下图所示：

图4.票房数据页面版

虽然这种一层的加密方式很容易就能解出来，但是每爬一次数据都得重写对应关系也让人很烦，支持开源。

三、数据清洗

去除原始数据中的标点符号、字母和特殊字符，相当于滤波去噪的过程。

pattern = re.compile(r'[\u4e00-\u9fa5]+')
filterdata = re.findall(pattern,review_data)
clean_data = ''.join(filterdata)

图5.清洗后文本数据

四、数据结构化处理

导入字典，提高分词准确率。BosonNLP情感词典是从微博、新闻、论坛等数据来源的上百万篇情感标注数据当中自动构建的情感极性词典。
[情感词典来源：http://bosonnlp.com]
然后用jieba做分词、定义word_cloud函数参数。在这部分需要注意一点，默认字体会显示成各种颜色的方框，所以把字体改成能正常显示中文字符的simsun.ttc。当然，用其他能正常显示的也可以。

图6.默认字体的显示结果

jieba.load_userdict("D:\\文本情感分析\社交媒体词典\\BosonNLP_sentiment_score\\BosonNLP_sentiment_score.txt")  #导入社交媒体字典
wordlist_after_jieba = jieba.cut(clean_data)  #分词
word_split = " ".join(wordlist_after_jieba)
color_mask = imread("D:\\文本情感分析\\战狼2.jpg") # 读取背景图片
word_cloud = WordCloud(font_path='simsun.ttc',
            background_color="white", max_words=1000,mask=color_mask,
            max_font_size=40, random_state=42)   #wordcloud参数定义
my_wordcloud = word_cloud.generate(word_split)  #生成词云图
#画图
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()