使用西瓜助手和WebScraper免费获取公众号历史文章

2019-09-18 本文已影响0人三少爷的见

有一天，需要爬取某个公众号的历史数据，又不想花钱，所以研究了下WebScraper，成功地抓取到了近一年的所有文章数据，没花一分钱（西瓜助手应该需要先成为会员，不确定费用多少，我是通过活动免费领取的）。

一、抓取逻辑

因为WebScraper是一个最常用的网页爬虫（对WebScraper不熟悉的同学可能先要去搜两篇文章看看它的基础用法），简单地说就是只要你给他一个网页，他就能把里面的内容都给抓下来。

但是，由于反爬的考虑，微信对公众号历史文章显示的限制越来越严，搜狗浏览器、微信客户端等地方都无法查看到完整的文章列表。

有些免费工具，比如微小宝可以查看7天的文章，但是我要研究的这个公众号更新频率很低，一个月才发5-6次，近七天的文章也就1-2篇，根本满足不了需求。

当然，还有一些网站，类似传送门，会帮你收集好历史文章，但是仅限于一些热门公众号，而且很多公众号的文章都比较旧。

后来，无意中看到「西瓜助手」中可以查看一年的历史数据，而且是网页形式，所以想着和WebScraper结合起来试试，果然成功了，特分享给大家。

注意：很多工具，包括微信自身在内，提供的功能经常会变，如果你阅读的时候发现这个方法不行了，也麻烦告诉我一声，我好找一找新的方法。

二、使用西瓜助手获取公众号历史文章列表

1、登录西瓜助手

2、点击左侧导航栏里的“素材收集”——“全网优质素材”，然后在右面界面的输入框（下图2）中输入公众号，然后点击【搜公众号】。

3、在搜索结果列表中选择你要找的公众号，点击即可打开公众号详情页面。

4、在页面下方有个“最新推文”tab，里面可以查看最新的公众号文章，点击下方【加载更多历史文章...】按钮可以显示更多的历史文章。

三、WebScraper的核心逻辑和工作步骤

1、WebScraper爬虫的核心逻辑

WebScraper抓取的核心逻辑在于选择器的设置，比如最简单的文本（Text）、超链接（Link），到表格（Table）、图像（Image），然后是复杂些的元素集（Element），以及这些基本类型的变体，比如弹出的超链接（Popup Link），点击加载更多的元素集（Element Click，这次我们就要用到这位）。

背后的逻辑其实也很简单：因为HTML是结构化的，页面是由很多tag组成的，而且这些tag间是有层次的，设置选择器就相当于告诉WebScraper要去抓哪个（哪类）tag，它是什么类型，处在哪个层次。

2、WebScraper工作步骤

WebScraper是Chrome浏览器里的一个插件，安装完（安装如果遇到问题，可以去搜一下Chrome插件安装的问题解答）之后，爬取一个网页大致需要以下几个步骤：

1）创建站点地图

要去哪里爬取数据

2）配置选择器

要抓页面上哪些内容

3）开爬Scrape

4）导出结果

更多基础介绍，大家可以自行搜索。

四、使用WebScraper抓取数据

1、准备工作

2、创建站点地图

名字（name）取一个方便记的。Start URL就是当前浏览器里显示的地址，直接拷贝过来即可。

create new sitemap

创建成功后，你会在“Create new sitemap”菜单前看到一个“Sitemap jiadiany”的菜单，后续所有操作都在这个菜单下进行。

3、配置选择器

在配置选择器之前，需要先分析一下页面，看你要抓取哪些数据，有什么特点，然后可以逐步尝试可行性。

最新推文截图

最新推文是按照时间从近到远排列的，最理想的我们是把整个区域1的数据做一个整体抓取下来，但是后来在选择器选取的时候始终无法选取到区域1，因此只能退而求其次选择了区域2，这里面就把“推文时间”给丢失了，后面在整理数据时我们可以利用一个值来对文章时间排序，但是没有绝对推文时间。

小技巧：在选择区域2的时候也遇到了问题，用鼠标始终无法选定这个区域，所以我们把“Enable key”开关打开，然后先选择一个小的元素，然后通过按键P（选取它的父节点）和C（选取它的子节点）来微调。

确定了要爬取区域2的数据，那我们就知道需要创建一个Element的选择器。同时，注意到这个页面一次性只显示部分数据，需要点击页面底部「加载更多历史文章...」按钮来加载更多数据，因此我们需要用到Element选择器的变体Element click。

省略具体的操作过程，该“Element click”选择器的具体配置如下：

另外，因为需要抓取区域2里面的“传播指数”（text）、“封面/文章标题”（link）、阅读数（text）、赞数（text，也就是最新的在看数）等数据，因此需要在article下分别创建这些选择器。

相应的选择器图谱和“封面/文章标题”（link）选择器配置如下：

Selector graph

titlelink selector

小技巧：选择器创建完之后，在Actions下面有两个按钮“Element preview”和“Data preview”，可以点击模拟一下看选择的元素及数据是否正确。

Selector Actions

4、开始爬取并导出数据

选择器配置好之后，就可以开始爬取了（点击Scrape菜单），你可以看到插件就好像在模拟人一样浏览这个页面，抓取区域2里面的数据，然后再点击按钮加载更多数据，直至触达停止条件。

爬取完成后，就可以直接导出一个csv文件。至此，整个爬取过程就结束了。

导出的站点地图详情（Json）：

{"_id":"jiadiany","startUrl":["https://zs.xiguaji.com/Member#/MBiz/Detail/df0d2a/723965"],"selectors":[{"id":"article","type":"SelectorElementClick","selector":"div.public-details-content tbody","parentSelectors":["_root"],"multiple":true,"delay":0,"clickElementSelector":"div.loadingMorePanel a.btn","clickType":"clickMore","discardInitialElements":false,"clickElementUniquenessType":"uniqueCSSSelector"},{"id":"index","type":"SelectorText","selector":"tr:nth-of-type(1) span.risk-index","parentSelectors":["article"],"multiple":false,"regex":"","delay":0},{"id":"titlelink","type":"SelectorLink","selector":"tr:nth-of-type(1) div.mp-article-title a","parentSelectors":["article"],"multiple":false,"delay":0},{"id":"readcnt","type":"SelectorText","selector":"tr:nth-of-type(1) td:nth-of-type(5)","parentSelectors":["article"],"multiple":false,"regex":"","delay":0},{"id":"rank","type":"SelectorText","selector":"tr:nth-of-type(1) td:nth-of-type(6)","parentSelectors":["article"],"multiple":false,"regex":"","delay":0}]}

五、数据处理

打开CSV文件，我们可以简单对数据进行处理，以便更好地分析。

1、按照字段“web-scraper-order”排序（这个字段的意思是WebScraper采集的顺序，也就是文章的时间顺序）。

2、将阅读数10001+（文本）替换成数字10001，以便我们进行统计。

3、标题和正文，我们可以进一步用NLPIR工具进行处理。

有任何问题，欢迎提出来一起讨论研究。

转载说明：本文为“三少爷的见”原创文章，转载请务必注明出处。