线程池原理及python实现

线程池原理

一个线程的运行的时间包括三个部分：线程创建时间、线程执行体执行时间、线程销毁时间。传统的多线程方案中采用的都是“即时创建，即时销毁”的策略，这样的策略相对于多进程来说减少了很大一部分时间，但是如果线程执行时间较短的话，且执行次数频繁的话就导致系统在不挺的创建线程和销毁线程的状态，势必效率会降低。线程池就可以在一定程度上解决这个问题。
线程池采用预创建技术，在程序启动之后，将创建一定数量的线程，放入空闲队列里面（没错，是队列哦！！）。这些线程都是出于阻塞状态，不占用CPU，但会占用较小的内存空间。当有任务的时候，缓冲池选择一个空闲线程，把任务传进该线程中运行，当任务执行完毕后也不退出，而是继续回到缓冲池中等待下一次任务。
下面是从网上找的一个python实现的线程池的代码：

# !/usr/bin/env python
# -*- coding:utf-8 -*-

import Queue
import threading
import time

class WorkManager(object):
    def __init__(self, work_num=1000,thread_num=2):
        self.work_queue = Queue.Queue()
        self.threads = []
        self.__init_work_queue(work_num)
        self.__init_thread_pool(thread_num)

    """
        初始化线程池
    """
    def __init_thread_pool(self,thread_num):
        for i in range(thread_num):
            self.threads.append(Work(self.work_queue))

    """
        初始化工作队列
    """
    def __init_work_queue(self, jobs_num):
        for i in range(jobs_num):
            self.add_job(do_job, i)

    """
        添加一项工作入队
    """
    def add_job(self, func, *args):
        self.work_queue.put((func, list(args)))#任务入队，Queue内部实现了同步机制

    """
        等待所有线程运行完毕
    """   
    def wait_allcomplete(self):
        for item in self.threads:
            if item.isAlive():item.join()

class Work(threading.Thread):
    def __init__(self, work_queue):
        threading.Thread.__init__(self)
        self.work_queue = work_queue
        self.start()

    def run(self):
        #死循环，从而让创建的线程在一定条件下关闭退出
        while True:
            try:
                do, args = self.work_queue.get(block=False)#任务异步出队，Queue内部实现了同步机制
                do(args)
                self.work_queue.task_done()#通知系统任务完成
            except:
                break

#具体要做的任务
def do_job(args):
    time.sleep(0.1)#模拟处理时间
    print threading.current_thread(), list(args)

if __name__ == '__main__':
    start = time.time()
    work_manager =  WorkManager(10000, 10)#或者work_manager =  WorkManager(10000, 20)
    work_manager.wait_allcomplete()
    end = time.time()
    print "cost all time: %s" % (end-start)

可以阅读以下python中multiprocessing模块中的Pool的实现，也是使用队列进行实现的！实际上线程池可以理解为一个生产者和消费者模型，一个生产者多个消费者。任务到来时，多个消费者中选择一个进行消费，消费完继续等待。