Nodejs爬取网站数据之下载图片到本地

查询到img标签的src属性的值,然后检查路径是否完整,最后保存图片到本地.

实现效果如下:

save_pic.gif

引入依赖:

var request = require('request'); //利用request模块保存图片
var fs = require('fs') //创建文件、文件夹

核心代码:

/* 列表信息遍历 */
page.find('.outter').each(function () {
    var dd = $(this);
    var title = dd.find('.title .a3').text().trim();
    var content = dd.find('.mess pre').text().trim();
    var imageUrl = dd.find('.mess img').attr("src");
    var imgname = "";
    if (imageUrl) {
        if (!imageUrl.startsWith("http")) {
            imageUrl = "http://www.unknow.com" + imageUrl;
        }
        var start = imageUrl.lastIndexOf("/") + 1;
        imgname = imageUrl.substr(start, imageUrl.length - 1);
        request(imageUrl).pipe(fs.createWriteStream('./img/' + imgname));
    }
    htmlListData.push({
        title: title,
        content: content,
        imageUrl: "http://www.unknow.club/" + imgname
    });
});