spider(爬虫)

spider(爬虫)

推荐抓取工具：火车采集器\火车头采集器

爬虫抓取网页

    //node 中http模块,可以用来开启服务器(http.createServer),也可以用来开启客户端(http.request)
    //网页抓取核心代码如下 --> server.js
    const http = require('http');
    const https = require('https');
    const urllib = require('url');
    const fs = require('fs');
    const pathlib = require('path');
    const assert = require('assert');
    /*
    封装http.request,用来自动分别http与https
    url --> 网址
    headers --> options需要的headers
    */
    function reqUrl(url,headers){
        //使用url模块解析url,得到url对象
        let urlObj = urllib.parse(url);
        //用来获取http或者https
        let httpMode = null;
        if(urlObj.protocol == 'http:'){
            httpMode=http;
        }else if(urlObj.protocol == 'https:'){
            httpMode=https;
        }else{
            console.log(urlObj.protocol);
            throw new Error('错误');
        }
        //http.request的optios参数
        const options = {
            host:urlObj.host,//要爬取的网站
            path:urlObj.path,//要爬取的路径
            header:headers//某些网站爬取需要的headers
        };
        //因http.request是个异步函数,所以此处return一个promise
        return new Promise((resolve,reject)=>{
            //http.request,作为一个客户端向服务端发起请求
            let req = httpMode.request(options,res=>{
                // res.statusCode作为访问成功与否的标准
                if(res.statusCode>=200&&res.statusCode<300||res.statusCode==304){
                    let arr = [];
                    res.on('data',function (data){
                        arr.push(data);
                    });
                    res.on('end',function (){
                        let buffer = Buffer.concat(arr);
                        //接收处理结果交由resolve()
                        resolve({
                            statusCode:200,
                            body:      buffer,
                            headers:   res.headers
                        })
                    })
                //如果是301或者302,也是成功这是需要跳转   
                }else if(res.statusCode==301||res.statusCode==302){
                    resolve({
                        statusCode:res.statusCode,
                        body:      null,
                        headers:   res.headers
                    })
                //出错了
                }else{
                reject({
                    statusCode:res.statusCode,
                    body:      null,
                    headers:   res.headers
                });
                }
            });
            //请求的时候就出错了,例如网址不存在
            req.on('error',err=>{
                console.log('error',err);
            });
            req.write('');
            //end()表示正式开始请求
            req.end();
        })
    }

    async function req(url){
        try{
            //循环处理多次301或者302的情况
            while(true){
                let {statusCode,body,headers} = await reqUrl(url);
                console.log(statusCode,body,headers);
                
                if(statusCode==200){
                    return {body,headers}//成功之后 退出循环
                }else{
                    //let {statusCode,body,headers:head} = await reqUrl(headers.location);
                    assert(headers.location);//此处使用断言一定有此属性
                    url=headers.location;//不成功将url重新赋值,继续循环
                }
            }
        }catch(e){
            console.log('进到catch',e);
        }
    }
    //因req是一个async函数,所以此处也需要使用async函数接收数据,此处使用了自调用函数
    (async ()=>{
        let {body,headers} = await req('http://www.tmall.com');
        fs.writeFile('spider',body,err=>{
            if(err){
                console.log('写入失败');
                
            }else{
                console.log('写入完成');
                
            }
        })
    })()

jsdom.js

    原因：因爬虫抓取的是html网页,所以需要进行数据解析,jsdom第三方模块可以实现
    作用：将html反向解析成dom对象
    安装：cnpm i jsdom -D
    使用：
        const JSDOM = require('jsdom').JSDOM;
        const fs=require('fs');
        fs.readFile('test.html', (err, buffer)=>{
            if(err){
                console.log('读取失败');
            }else{
                let html=buffer.toString();
                //创建jsdom对象,并将需要解析的对象传参进去
                let jsdom=new JSDOM(html);
                //获取dom对象
                let document=jsdom.window.document;
                //创建$
                let $=document.querySelectorAll.bind(document);
                //按照JS操作dom对象方式进行操作即可
                let oTxt=$('input.txt1')[0];
                console.log(oTxt.value);
            }
        });

爬虫抓取数据

1. 使用爬虫抓取网页;(此处以天猫手机网页为例,部分网站数据应该是抓取shr数据)  
2. 使用jsdom对网页进行解析
3. 封装存库,继续向下抓取,等等等操作
4. 详见4-19.zip --> tmall_shouji_spider2.js
某些页面编码是gbk然而node本身不认gbk编码,所以buffer.toString('gbk')指定编码的方法不可用,这里需要使用第三方gbk模块;
cnpm i gbk -D
const gbk=require('gbk');
gbk.toString('utf-8',buffer);//使用gbk模块将buffer编码变成utf-8