Python 中的多线程和多进程：并行处理的利器

写在前面：在我们日常处理大量数据时，比如数据分析、机器学习时，都离不开大量繁杂的数据，处理起来是非常耗时的，今天和大家分享一些高效且实用的小技巧。Python 是一种功能强大的编程语言，提供了多种并行处理的方式，其中包括多线程和多进程。在处理大规模任务或需要同时进行多个操作时，多线程和多进程能够显著提高程序的性能和效率。本文将介绍 Python 中的多线程和多进程，并探讨它们的适用场景和使用方法。

一、什么是多线程？

多线程是指在一个进程内创建多个线程，每个线程独立执行任务。Python 提供了 ThreadPoolExecutor 方法来支持多线程编程。多线程适合处理 I/O 密集型任务，如网络请求和文件操作，因为线程可以在等待 I/O 操作完成时切换到其他线程，从而提高程序的响应性。

二、什么是多进程？

多进程是指在操作系统中创建多个独立的进程，每个进程都有自己的地址空间和系统资源。Python 提供了 ProcessPoolExecutor 方法来支持多进程编程。多进程适合处理 CPU 密集型任务，如数值计算和图像处理，因为多个进程可以在多个 CPU 核心上并行执行任务，充分利用系统资源。

三、代码实现：多线程和多进程

这段代码展示了使用单线程、多线程和多进程来处理一个数据集的计算任务，并计算每种方式的运行时间。让我们逐行解析代码：

#导入所需的模块：
import time
import math
from tqdm import tqdm
from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor, as_completed

定义一个装饰器函数 calculate_time，用于计算函数的运行时间：

def calculate_time(func):
    def wrapper(*args, **kwargs):
        start_time = time.time()
        result = func(*args, **kwargs)
        end_time = time.time()
        execution_time = end_time - start_time
        print(f"函数 {func.__name__} 的运行时间为: {execution_time} 秒")
        return result

    return wrapper

定义一个数据集 dataset，包含了 100 个相同的数值：

dataset = [112272535095293] * 100

定义一个函数 process，用于判断给定的数是否为素数：

def process(n):
    if n < 2:
        return False
    if n == 2:
        return True
    if n % 2 == 0:
        return False
    sqrt_n = int(math.floor(math.sqrt(n)))
    for i in range(3, sqrt_n + 1, 2):
        if n % i == 0:
            return False
    return True

定义一个装饰器函数 calculate_time，用于计算函数的运行时间：

@calculate_time
def process_result():
    new_dataset = []
    for data in tqdm(dataset):
        res = process(data)
        new_dataset.append(res)
    print(new_dataset)

定义一个函数 threadpool，使用多线程来处理数据集：

@calculate_time
def threadpool(data):
    with ThreadPoolExecutor(max_workers=4) as exe:
        new_dataset = list(tqdm(exe.map(process, data), total=len(dataset)))
    print(new_dataset)

定义一个函数 processpool，使用多进程来处理数据集：

@calculate_time
def processpool(data):
    with ProcessPoolExecutor(max_workers=4) as exe:
        new_dataset = list(tqdm(exe.map(process, data), total=len(dataset)))
    print(new_dataset)

定义一个函数 processpool1，使用多进程来处理数据集，并手动管理任务的提交和结果的获取（多线程也可以），这种方式更加灵活，这种方式会改变数据原本的顺序，而上面的保持原有顺序，所以从运行效率上，这种方式更快：

@calculate_time
def processpool1(data):
    with ProcessPoolExecutor(max_workers=4) as executor:
        futures = []
        for d in data:
            future = executor.submit(process, d)
            futures.append(future)
        new_dataset = []
        for f in tqdm(list(as_completed(futures)), total=len(data)):
            try:
                result = f.result()
                new_dataset.append(result)
            except Exception as e:
                print(f"任务执行出错: {e}")
    print(new_dataset)

在 if name == 'main' 中，分别调用 process_result()、threadpool(dataset)、processpool1(dataset) 和 processpool(dataset) 来运行不同的处理方式，并输出运行时间。

if __name__ == '__main__':
    process_result()
    threadpool(dataset)
    processpool1(dataset)
    processpool(dataset)

这段代码展示了如何使用多线程和多进程来并行处理任务，以提高程序的运行效率。通过比较不同方式的运行时间，可以了解到多线程和多进程在处理任务时的差异。从下面的结果我们可以看到，对于cpu进行大量计算时，显然多进程更快些。

四、 多线程 vs. 多进程

多线程和多进程在处理任务时具有不同的特点和适用场景。多线程适合处理 I/O 密集型任务，因为线程可以在等待 I/O 操作完成时切换到其他线程，提高程序的响应性。多进程适合处理 CPU 密集型任务，因为多个进程可以在多个 CPU 核心上并行执行任务，充分利用系统资源。

在选择多线程还是多进程时，需要根据任务的性质和需求进行合理的选择。同时，还需要考虑到线程安全性、资源消耗和操作系统调度等因素。

五、结论

多线程和多进程是 Python 中实现并行处理的重要工具。通过合理地使用多线程和多进程，我们可以提高程序的性能和效率，加快任务的执行速度。然而，在编写多线程和多进程的代码时，需要注意线程安全性、共享资源的同步问题和进程间通信等方面，保证程序的正确性和稳定性。

希望我的分享对你有帮助，喜欢记得关注我~