Web Scraper傻瓜式爬虫插件之进阶套路

2018-02-02 本文已影响0人一个娘酷

图文|娘酷

上一篇文章中我介绍了Web Scraper的基本用法，接下来的内容中，我将接着介绍Web Scraper在收集多层级的数据的进阶套路。

进阶套路

仍然以我的简书关注列表为例，这一次我不仅想要收集我都关注了谁，我还想要他们的一些个人信息，如：他们的粉丝数，关注数，文章数，一共写过多少字。

如图所示，是关注列表中的第一位

我的关注列表中有96张如图所示的卡片，我们暂且称之为名片。每张名片中包含了此人的多维度信息，头像、网名、关注数、粉丝数、文章数、写了多少字，获得了多少个喜欢，甚至还可以算上单击他网名跳转的个人主页的链接。那么这里，就存在一个二级包含关系，名片是要收集的一级对象，而名字，粉丝数，关注数则是二级对象。而像名片这样在页面中存在多个，自己本身也包含多个二级对象的目标，我们称其为元素。抓取时Type选择为Element。

新建：shift+ctrl+I 唤出开发者工具 -> Web Scraper -> Create New Sitemap -> Sitemap Name：niangkufollowers; sitemap URL: https://www.jianshu.com/users/f354e815185f/following

添加元素对象（element）：元素就像是一个书包内部可以包含多个目标，所以此处为了收集每个人的相关信息，将每一个名片看做一个元素。创建Selector，Type设定为Element，单击“select”按钮后，将鼠标移至名片处，选中第一个和第二个名片后，WS会自动圈起页面上其他名片（这个页面上有多个名片记得要勾选multiple）。Done Selecting! -> Save Selector

选择“国学上官清晨”和“谈心社”的名片后WS会自动选择其他相同类型的元素

添加元素内二级目标：单击Element -> 依次添加二级目标（Add New Selector ）：网名（name）, 关注数（following），粉丝数（follower），文章数（posts），字数（counts）。类型全部选择“Text”。因为每个元素内都只含有一个网名，则不用勾选multiple。添加过程参照 基础套路

添加二级目标时WS会自动标黄第一个元素，可以直接在黄色区内选择目标

有时想要选中的目标是带有跳转连接的，如本例中的网名，单击后会跳转就无法在selector中保存，这里的小技巧是，可以在“Done Selecting!”按钮左侧单击“Enable key”，就可以使用键盘进行操作。将鼠标移至对象上，单击键盘S键，就可以选中了。

让我们再爬一次！不用设置delay直接启动！Sitemap(niangkufollowers) -> Scrape

YEAH！我们有了更多维度的数据

虽然我们有了更多维度的数据，但仍结果只有9个。如果我们想要跟多的数据该怎么办？仔细看一下这个网页，你会发现，它的加载方式是：滑到底部时会自动加载9条名片。滑动时加载，是动态加载的一种方式。除了滑动加载，还有点击更多按钮加载，点击页码加载。只有解决了网页的加载，让网页顺顺利利的把数据吐出来，我们才能完成完整的收集。