【大数据部落】用R进行网站评论文本挖掘聚类

原文：http://tecdat.cn/?p=3994

对于非结构化的网站中文评论信息，r的中文词频包可能是用来挖掘其潜在信息的好工具，要分析文本内容，最常见的分析方法是提取文本中的词语，并统计频率。频率能反映词语在文本中的重要性，一般越重要的词语，在文本中出现的次数就会越多。词语提取后，还可以做成词云，让词语的频率属性可视化，更加直观清晰。

比如对于如下的网站评论信息：

​

need-to-insert-img

通过一系列的文本处理和高频词汇的提取，最后结合聚类，我们可以得到如下的可视化结果。

第一类客户：

​

need-to-insert-img

第二类

​

need-to-insert-img

第三类

​

need-to-insert-img

这是根据某网站成交评论制作的可视化词云，词频的统计，分词和词云的制作都是用R，最后做了聚类，将不同的用户聚成了3个类别。这个图能很直观看到，每个类别的客户的特点。不过这张图中的词语还需要进行优化，因为有些术语或词组可能被拆分成了更小的词语，没有展示出来，为了演示，我就没再花更多时间去优化词库，主要介绍分析的过程与方法。