Web Spider
Web Spider
最近女票公司又要苦逼的统计一些数据了，然而我这次放弃了直接从网站上一个一个的数据复制粘贴到Excel。因为这是一项劳民伤财的工程，还好这次给了我足够的时间来研究。下面是我做的爬虫代码。
代码中用到的主要工具有两个，一个是Cheerio，是node端的jquery（能做一些类似前端的选择器的操作，几乎和前端的一样）。另外一个神器是Node-xlsx，是把爬取的数据放入excel的工具，使用也是相当简单。
主文件就是这个 tencent-spider.js
const
http = require('http'),
fs = require('fs'),
cheerio = require('cheerio'),
xlsx = require('node-xlsx');
const writeXlsx = datas => {
let buffer = xlsx.build([
{
name:'Tencent Video Reading',
data: datas
}
]);
fs.writeFileSync('./harvest/tencent/1.xlsx', buffer, {'flag':'w'}); //生成excel
};
//该函数的作用：在本地存储所爬取的新闻内容资源
const savedContent = $ => {
let dataArr = [];
dataArr.push(['标题', '阅读量', '时间']);
$('.figures_list li').each(function (index, item) {
let title = $(this).find('strong a').text(),
reading = $(this).find('.figure_info .info_inner').text(),
time = $(this).find('.figure_info .figure_info_time').text();
console.log(title);
let data = [title, reading, time];
dataArr.push(data); //一行一行添加的 不是一列一列
});
writeXlsx(dataArr);
};
const startRequest = x => {
//采用http模块向服务器发起一次get请求
http.get(x, function (res) {
let html =''; //用来存储请求网页的整个html内容
res.setEncoding('utf-8'); //防止中文乱码
//监听data事件，每次取一块数据
res.on('data', function (chunk) {
html += chunk;
});
//监听end事件，如果整个网页内容的html都获取完毕，就执行回调函数
res.on('end', function () {
let $ =cheerio.load(html); //采用cheerio模块解析html
savedContent($); //存储每篇文章的内容及文章标题
});
}).on('error', function (err) {
console.log(err);
});
};
startRequest("http://v.qq.com/vplus/wevideo/videos"); //主程序开始运行
## Explore Spider :watermelon:
In this repo, I will crawl different website data.
## Tech Stack :strawberry:
- [Node](https://nodejs.org)
- [Cheerio](https://cheerio.js.org)
- [Node-xlsx](https://github.com/mgcrea/node-xlsx)
## Installation :green_apple:
```
$ git clone https://github.com/JimmieMax/explore-spider.git
$ npm install
```
## Run tasks :banana:
```
//tencent spider http://v.qq.com/vplus/wevideo/videos
node tencent-spider
```
## Authors :cherries:
Jimmie Max
