Java网络爬虫实操（4）

2018-02-18 本文已影响117人风行者1024

本篇文章继续围绕NetDiscovery框架中pipeline的用法，结合另一个专门爬图片的框架PicCrawler，实现图片的批量下载和信息的存储。顺便介绍一下Vert.X框架中的mongo基础操作。

1) 目标任务

找一个有很多美女图片的网址
解析出要下载的图片链接，放到一个list中
把list传到图片爬虫框架，几行代码搞定
把需要的信息存储到mongodb

    //参考以前的文章，本篇要新增的依赖包
    implementation 'io.vertx:vertx-mongo-client:3.5.0'
    implementation 'com.cv4j.piccrawler:crawler:1.0.0'

2) 解析网页

目标网页

package com.sinkinka.parser;

import com.cv4j.netdiscovery.core.domain.Page;
import com.cv4j.netdiscovery.core.domain.ResultItems;
import com.cv4j.netdiscovery.core.parser.Parser;
import com.cv4j.netdiscovery.core.parser.selector.Selectable;

import java.util.ArrayList;
import java.util.List;

public class GirlParser implements Parser {

    @Override
    public void process(Page page) {

        String xpath = "//div[@class='contLeftA']/ul[@class='artCont cl']/li";
        List<Selectable> liList = page.getHtml().xpath(xpath).nodes();
        List<String> imgUrlList = new ArrayList<>();
        for(Selectable li : liList) {
            String imageUrl = li.xpath("//img/@src").get();
            imgUrlList.add(imageUrl);
        }

        ResultItems resultItems = page.getResultItems();
        resultItems.put("needDownloadImage", imgUrlList);
    }
}

3) 下载图片

package com.sinkinka.pipeline;

import com.cv4j.netdiscovery.core.domain.ResultItems;
import com.cv4j.netdiscovery.core.pipeline.Pipeline;
import com.cv4j.piccrawler.PicCrawlerClient;
import com.cv4j.piccrawler.download.strategy.FileGenType;
import com.cv4j.piccrawler.download.strategy.FileStrategy;

import java.util.List;

public class SaveGirlImage implements Pipeline {

    @Override
    public void process(ResultItems resultItems) {
        // 1.下载图片
        List<String> urls = resultItems.get("needDownloadImage");
        PicCrawlerClient.get()
                .timeOut(5000)
                .fileStrategy(new FileStrategy() {
                    @Override
                    public String filePath() {
                        return "temp";//保存图片的文件夹
                    }

                    @Override
                    public String picFormat() {
                        return "jpg";//保存图片的格式
                    }

                    @Override
                    public FileGenType genType() {
                        return FileGenType.AUTO_INCREMENT;//保存图片的文件名生成规则
                    }
                })
                .build()
                .autoReferer()       //自动设置refer
                .downloadPics(urls); //最关键的一行代码，把list扔进去就可以了

        //2. 设置信息给下一个pipeline SaveGirlImageLog使用
        resultItems.put("savecount", urls.size());
    }
}

批量下载到本地的图片

4) 保存信息

package com.sinkinka.pipeline;

import com.cv4j.netdiscovery.core.domain.ResultItems;
import com.cv4j.netdiscovery.core.pipeline.Pipeline;
import io.vertx.core.AsyncResult;
import io.vertx.core.Handler;
import io.vertx.core.json.JsonObject;
import io.vertx.ext.mongo.MongoClient;

import java.util.Date;

public class SaveGirlImageLog implements Pipeline {

    private MongoClient mongoClient;  //基于vertx的对象
    private String collectionName;

    public SaveGirlImageLog(MongoClient mongoClient, String collectionName){
        this.mongoClient = mongoClient;
        this.collectionName = collectionName;
    }

    @Override
    public void process(ResultItems resultItems) {
        //设置要保存的数据
        JsonObject jsonObject = new JsonObject();
        jsonObject.put("savecount", Integer.parseInt(resultItems.get("savecount").toString()));
        jsonObject.put("savetime", new Date().getTime());

        //1：存储到mongo数据库里
        mongoClient.save(collectionName, jsonObject, new Handler<AsyncResult<String>>() {
            @Override
            public void handle(AsyncResult<String> response) {
                if (response.succeeded()) {
                    System.out.println("save success, new id=" + response.result());
                } else {
                    System.out.println("save failure");
                    response.cause().printStackTrace();
                }
            }
        });

        //2：另一种lambda表达式的写法
//        mongoClient.save(collectionName, jsonObject, response -> {
//            if (response.succeeded()) {
//                System.out.println("save success, new id=" + response.result());
//            } else {
//                System.out.println("save failure");
//                response.cause().printStackTrace();
//            }
//        });
    }
}

存到mongo里的数据

5) 运行程序

一个parser类GirlParser
两个pipeline类SaveGirlImage、SaveGirlImageLog
Vert.X的MongoClient，异步非阻塞的方法

package com.sinkinka;

import com.cv4j.netdiscovery.core.Spider;
import com.sinkinka.parser.GirlParser;
import com.sinkinka.pipeline.SaveGirlImage;
import com.sinkinka.pipeline.SaveGirlImageLog;
import io.vertx.core.Vertx;
import io.vertx.core.json.JsonObject;
import io.vertx.ext.mongo.MongoClient;

public class GirlSpider {

    public static void main(String[] args) {
        String url = "http://www.woyaogexing.com/touxiang/nv/2018/586210.html";
        //创建一个vertx的mongoClient，SaveLog
        MongoClient mongoClient = MongoClient.createShared(Vertx.vertx(), getDatabaseConfig());
        
        Spider.create()
                .name("getGirlImage")
                .url(url)
                .parser(new GirlParser())
                .pipeline(new SaveGirlImage())
                .pipeline(new SaveGirlImageLog(mongoClient, "SaveLog"))
                .run();
    }

    public static JsonObject getDatabaseConfig() {
        JsonObject jsonObject = new JsonObject();
        jsonObject.put("connection_string", "mongodb://127.0.0.1:27017");
        jsonObject.put("db_name", "test");
//        jsonObject.put("username", "");
//        jsonObject.put("password", "");
        return jsonObject;
    }
}

6) 基于Vert.X的mongo操作

本篇的mongo操作使用的类是：io.vertx.ext.mongo.MongoClient
Vert.X的MongoClient提供的方法都是异步非阻塞的，非常灵活：

MongoClient
建议大家去了解一下增删改查，都有一个Handler<AsyncResult<[Type]>>
参考：http://vertx.io/docs/vertx-mongo-client/java/

7) 总结

利用框架我们能快捷的实现一个图片爬虫程序，本地有开发环境的话，几分钟就能搞定。以上例子仅仅是抛砖引玉，大家自由发挥其中的使用场景吧。

图片爬虫框架PicCrawler还有很多强大的用法，大家有兴趣可以去github上详细了解吧。

下一篇：Java网络爬虫实操（5）