nodejs小爬虫

主要参考：
http://www.jianshu.com/p/486ebec4d3a9
https://www.npmjs.com/package/cheerio

这次打算从句子迷网站爬一些美丽的句子。

打算得到的对象结构为：

{
  content: "句子内容",
  author: "作者",
  source: "来源"
}

先分析网站的搜索链接
http://www.juzimi.com/search/node/%E5%A4%B1%E6%81%8B%20type%3Asentence?page=5
这是我搜索“失恋”然后翻到第六页的结果。
于是可以得知搜索url为（其中page从0开始）：
http://www.juzimi.com/search/node/${encodedKeyword}%20type%3Asentence?page=${page}

再分析一下html结构，还是挺清晰的

html分析

然后就可以动手写了。
主要使用cheerio来进行操作，它可以用类似JQuery的方式操作html。
encode一下关键字主要是为了处理中文字。
这里用了一个循环来递增page，当get出错说明page已经搜完最后一页，就可以退出了。
最后还用fs来导出，方便导入数据库。

app.get('/search/:keyword', async (req, res, next) => {
  let { keyword } = req.params
  console.log('keyword:' + keyword)
  let encodedKeyword = encodeURIComponent(keyword)
  let sentenceList = []
  let page = 0
  let goingOn = true
  while (goingOn) {
    console.log('page:' + page)
    let response = await request.get(`http://www.juzimi.com/search/node/${encodedKeyword}%20type%3Asentence?page=${page}`).catch((err) => {
      goingOn = false
      console.log('done')
    })
    if (goingOn) {
      let html = response.text
      let $ = cheerio.load(html)
      $('.views-field-phpcode').each(function (index, element) {
        let content = $(element).find('.views-field-phpcode-1').find('a').text()
        let temp = $(element).find('.xqjulistwafo').find('a')
        let author
        let source
        if (temp.length == 2) {
          author = temp.eq(0).text()
          source = temp.eq(1).text()
        } else {
          author = ''
          source = temp.eq(0).text()
        }
        sentenceList.push({
          content,
          author,
          source
        })
      })
      ++page
    }
  }
  fs.writeFileSync(`${keyword}.json`, JSON.stringify(sentenceList))
  res.json(sentenceList)
})

最后成果如下：

结果