node爬虫 利用 puppeteer 模块

2018-12-05  本文已影响0人  一城叶秋风

网上有很多node的爬虫大部分使用的request + cheerio模块。因个人在 ip 代理方面能力不足,所以选择了puppeteer模块。

puppeteer的文档 github 上的 API

puppeteer的 api 中文文档 

我在这里不会介绍puppeteer,原因是你想写爬虫这种你不自己钻研技术,我把代码写好给你,你还是不会,还不如多多看看文档或者度娘谷歌问问去。本身这篇只是做一个记录而已

在这里展示我在爬小说网站的部分代码

写爬虫的原因

        因我是个严重的书虫,每天都是看一段小说,听一段时间小说,而网上的大部分小说是要收费的,一些不收费的网站都有各种YY图片广告,有时候就不小心就点到或者被网站自动触发(很闹心),所以就打算自己写个看书网站和一个看书小程序(很操蛋看书类的小程序,只能是企业版小程序可以提交,因我是个人用户被禁用了)

上一篇下一篇

猜你喜欢

热点阅读