Python多线程爬取王者荣耀COS小姐姐图片集

多线程爬取数据，主要是用Python的线程池ThreadPoolExecutor。
主要代码如下：

# -*- coding:utf-8 -*-
import json
import requests
import os
from concurrent.futures import ThreadPoolExecutor


class Wzry_Cosplay_Spider(object):

    def __init__(self):
        """定义存储目录"""
        self.base_dir = './wzry_cosplay_pics/'
        """定义请求Header头"""
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'}

    def get_pics(self):
        n = 1
        while True:
            """获取图片资源api地址"""
            url = f'http://gamehelper.gm825.com/wzry/gallery/list?pn={n}'
            try:
                r = requests.get(url, headers=self.headers)
                json_data = json.loads(r.text)
                pics_list = json_data.get('list')
                if len(pics_list) != 0:
                    for pic in pics_list:
                        pic_title = pic.get('title')
                        pic_imgs = pic.get('thumb_img')
                        """将标题和图片地址列表返回"""
                        yield pic_title, pic_imgs
                else:
                    break
                n += 1
            except:
                pass

    def download_pics(self, dirname, imgs):
        path = self.base_dir + dirname
        try:
            """递归创建文件夹"""
            os.makedirs(path)
        except:
            pass
        """循环下载图片"""
        for img in imgs:
            filename = img.split('/')[-1]
            r = requests.get(img, headers=self.headers)
            with open(path + '/' + filename, 'wb') as f:
                f.write(r.content)
                print(f'----------------------------下载{filename}成功----------------------------')
        print(f"----------------------------{dirname}]下载完成----------------------------")


def main():
    """使用线程池，创建四个线程"""
    pool = ThreadPoolExecutor(max_workers=4)
    """获取类对象"""
    wzry_cosplay_spider = Wzry_Cosplay_Spider()
    """调用对象方法获取标题和图片地址列表"""
    for pic_title, pic_imgs in wzry_cosplay_spider.get_pics():
        """使用线程下载"""
        pool.submit(wzry_cosplay_spider.download_pics, pic_title, pic_imgs)
    """关闭线程池"""
    pool.shutdown()


if __name__ == '__main__':
    main()

爬取到的资源如下（小姐姐还是蛮养眼的）：

source.jpg

ThreadPoolExecutor构造实例的时候，传入max_workers参数来设置线程池中最多能同时运行的线程数目。使用submit函数来提交线程需要执行的任务（函数名[wzry_cosplay_spider对象的get_pics函数]和参数[图片标题和下载地址列表]）到线程池中，并返回该任务的句柄（类似于文件、画图），注意submit()不是阻塞的，而是立即返回。通过submit函数返回的任务句柄，还可以能够使用done()方法判断该任务是否结束。最后通过shutdown()函数来关闭线程池。

线程池介绍

线程池的基类是 concurrent.futures 模块中的 Executor，Executor 提供了两个子类，即 ThreadPoolExecutor和 ProcessPoolExecutor，其中 ThreadPoolExecutor 用于创建线程池，而 ProcessPoolExecutor 用于创建进程池。
如果使用线程池/进程池来管理并发编程，那么只要将相应的 task 函数提交给线程池/进程池，剩下的事情就由线程池/进程池来搞定。

Exectuor 提供了如下常用方法：

submit(fn, *args, **kwargs)：将 fn函数提交给线程池。*args 代表传给 fn 函数的参数，*kwargs 代表以关键字参数的形式为 fn 函数传入参数。

map(func, *iterables, timeout=None, chunksize=1)：该函数类似于全局函数 map(func, *iterables)，只是该函数将会启动多个线程，以异步方式立即对 iterables 执行 map 处理。

shutdown(wait=True)：关闭线程池。

程序将 task 函数提交（submit）给线程池后，submit方法会返回一个Future 对象，Future类主要用于获取线程任务函数的返回值。由于线程任务会在新线程中以异步方式执行，因此，线程执行的函数相当于一个“将来完成”的任务，所以Python使用 Future 来代表。

使用线程池来执行线程任务的步骤如下：

1.调用 ThreadPoolExecutor 类的构造器创建一个线程池。
2.定义一个普通函数作为线程任务。
3.调用 ThreadPoolExecutor 对象的 submit() 方法来提交线程任务。
4.当不想提交任何任务时，调用 ThreadPoolExecutor 对象的 shutdown() 方法来关闭线程池。