NodeJS爬虫初试

2017-01-12 本文已影响1187人平凡数

缘由

接触前端(FontEnd)已一年多，但还是半桶水啊，可能半桶水都算不上，自己都担心自己。噗呲
爬虫这个东西，我记得在很久之前我就听说过他，但一直没去了解过他，甚至概念都不太清晰，只知道他是一只网络的虫子，爬取网站的信息。
那么，由于自己技能树的不成熟，目前只在前端入门阶段，╮(╯▽╰)╭。大概了解了一下爬虫可以用什么语言来写，其实是废话，大神的话什么语言都可以写吧。
在结束考试之后，就开始了nodejs学习之旅，对于node没有任何了解，只知道他是一门服务器端的语言。（听说贼强大）
说了那么多废话，一位强大的神秘人物给了小弟我一个小小的任务，爬虫他博客上的文章，并把数据存储到本地，可以说是一个练手任务吧（但对于渣渣的我来说还是有难度的啊）

目标

<li>爬取x-cold的博客：http://blog.lxstart.net/ 的全站文章（约20-30篇）</li>

<li>结构化爬取的文章，持久化到本地（数据库、文件均可，暂时不考虑存储优化）</li>

<li>实现一个简单的HTTP服务器对抓取的结果进行展示（文章列表+文章详情）</li>

环境要求

Nodejs v4.3.0 及以上

实践

小白一只，开始在网络中寻求自己疑惑的答案，开始了代码之旅（呸）

工具

这里采用了几个node模块

http模块 = > 发起http请求
https模块 = > 发起https请求
fs模块 = > 将数据存储到本地
cheerio模块 = > Dom操作 (使用方法相当于jQuery)

其它

代码检验使用eslint
编写代码使用ECMAScript5

分析网站

打开http://blog.lxstart.net/这个网站，按下F12看了下，发现在每一篇文章的下面都有下一篇文章的链接，所以这里采用了一个简单的方法去爬取整站的文章，取到link后，用一个简单的判断，逐步发起http请求，懒猴再拿到你想要的东西
代码简单展示如下：

// 下一篇文章的链接
var nextLink = 'http://blog.lxstart.net' + $('nav#article-nav #article-nav-older').attr('href')
// 控制爬取文章的篇数
if (id <= 500) {
  fetchPage(nextLink)
}

说说遇到的问题，本来简单尝试成功后，就要将获得的数据保存到本地，一开始是想分析下网站的结构，逐步获取。但后来想想发现不行，还是直接整个取下来吧。在保存的时候，一开始是保存为.txt文件的，但是之前没发现在cheerio加载的时候忘记加上了一个东西（var $ = cheerio.load(html, { decodeEntities: false })），导致拿到的html代码里面的中文是Unicode编码的。

后来加上去之后发现用txt文件保存贼难看，嗯，那就改为html文件试试，(⊙o⊙)…勉强还能接受吧（暂时想不到其他方法）

接下来是存储数据的问题，(⊙v⊙)嗯，html内容存储没啥问题，主要是图片存储的问题。
之前没发现此站点存储图片里面有https，被坑了一波，一直报错，后来才发现，所以增加了一个https模块。
存储图片也是采用http发情请求，然后用fs模块保存到本地。这里有一个点，设置编码格式为'binary'，即res.setEncoding('binary')。