爬虫小项目之三 学术文献爬虫+词云（下）

今天终于可以继续更新这个小项目了。好了，不废话，继续上次的工作。

在上一个项目中，我们得到了网上爬取的数据，

首先要创建一个时间表，

TimeTable=SUMMARIZE(FILTER(Result,Result[Time],[Time])，这里用的是DAX语言，其实就是数据库查询语言，跟MySQL相似。

创建新列Year=[Time]&"-1-1",然后转化为时间格式yyyy就可以了。

时间表创建成功后，在关系示图里面建立表连接

之后就可以在图表示图中绘制词云和统计图了。

为了绘制词云，需要从POWERBI的视图库中下载插件，点击...,---->获取更多视觉对象

找到word cloud，点击添加

这样就可以使用这个插件了。另外注意，获取更多视图功能只有邮箱注册的账户才能使用。

红箭头所指的就是添加的word cloud插件了，点击一下，然后在插件中添加Result表中的title，及stopwords，词云就出现了

接下来，创建两个表格，一个是关于CART这个研究热点每年的发文走势

只有2019年的，可见baidu学术的确不是广大科研工作者首选的文献搜索引擎。注意“轴”添加的是TimeTable的时间表，“值”使用的是Title的计数。

第二个要创建的表格是杂志发文量，看哪些杂志对CART研究的接受度较好

这里要注意，“轴”使用Magzine，“图例”也是用Magzine，只是为了好看；最后“值”使用Title的技术，统计每个杂志的发文量。

最后要将“空白”的杂志删除掉。选中空白，左键选择对象，右键选择排除。

到了这里，再把三张图以合适的方式组合，美化就是最终的效果了。

最后就是把自己制作出来的交互式报表制作app连接，分享自己的成果。这个也很简单，选择“发布”，然后一直确定，等待文件上传到PowerBI云端。

看到这个就说明发布成功

登录自己的PowerBi账户，在我的工作区找到它

点击进去就可以看到自己发布到网上的作品了。

接下来选择共享-崁入报表-发布到Web(公共)-创建崁入代码-发布，就可以找到交互式报表的共享地址

复制这个地址，发给你的老板或者朋友或者同学等等，分享你的作品。知识越分享越多！

下面附上我制作的app的连接：

https://app.powerbi.com/view?r=eyJrIjoiODMxNmY0MDAtZDg3YS00YWUwLWJlYjktMDA2YWM4MDY5YTdhIiwidCI6ImUyZmFkYTNhLWZiNjktNGJkZS1hZmE4LWNlM2M2YWU2YjkyYiIsImMiOjZ9

总结一下：整个工作流程分为两步，第一步使用Powerquery发送html请求，并采集数据，清洗数据；第二步，使用PowerPivot数据建模，并使用PowerBi的可视化组建进行图表可视化。另外这个流程设计好之后，只要在第一步将CART这个关键词换成另外一个，如Mesenchymal Stem Cell，那么所有的后续工作流程都会自动更新，是不是很简单高效，一劳永逸！大家赶紧试一试吧！