Python多线程辣鸡？那要怎样并行运算呢？
前言
Python在并行运算方面因为GIL（Global Interpreter Lock，全局解释器锁）而饱受诟病，认为Python的多线程其实是伪的，很鸡肋，这里就大致讲解下吧，
在Python的原始解释器CPython中存在着GIL，因此在解释执行Python代码时，会产生互斥锁来限制线程对共享资源的访问，直到解释器遇到I/O操作或者操作次数达到一定数目时才会释放GIL
所以有GIL效果就是：** 一个进程内同一时间只能允许一个线程进行运算 ** （这尼玛不就是单线程吗？）
至于为什么要有GIL？只能说这是个历史遗留问题了，人家发明Python的时候压根就没想到现在居然有多核CPU，甚至多CPU的电脑啊~
再至于为什么GIL没有被优化掉，总是有人家的考虑的，反正Python3也继续了GIL的优良传统，爱用不用，有兴趣的自行搜索GIL吧
我这里尽量用事实说话，直接黑盒测试下常见的几种并行运算方式
正文
测试环境：
电脑：
我的电脑
Python： 2.7.10
我都是使用 multiprocessing 模块进行对比，对比三种常见的使用情况，我分别取名（非官方）：ThreadPool,DummyPool,ProcessPool
引入方式如下：
from multiprocessing.pool import ThreadPool
from multiprocessing.dummy import Pool as DummyPool
from multiprocessing import Pool as ProcessPool
说明： ThreadPool,DummyPool 都是线程池，ProcessPool 是进程池
测试代码如下：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# by vellhe 2017/7/1
from multiprocessing.pool import ThreadPool
from multiprocessing.dummy import Pool as DummyPool
from multiprocessing import Pool as ProcessPool
import time
max_range = 10000000
def run(i):
i = i * i
# return i # return和不return对进程池运行速度会有比较大影响，不return效率更高
def thread_pool(num):
p = ThreadPool(num)
start_time = time.time()
ret = p.map(run, range(max_range))
p.close()
p.join()
print("thread_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))
def dummy_pool(num):
p = DummyPool(num)
start_time = time.time()
ret = p.map(run, range(max_range))
p.close()
p.join()
print("dummy_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))
def process_pool(num):
p = ProcessPool(num)
start_time = time.time()
ret = p.map(run, range(max_range))
p.close()
p.join()
print("process_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))
if __name__ == "__main__":
for i in range(1, 9):
thread_pool(i)
dummy_pool(i)
process_pool(i)
print("=====")
测试说明：
通过并行计算max_range次对于i的二次方，没有任何IO操作，纯运算
这里特别说明，由于偶然发现run方法return和不return对ProcessPool会有很大影响，所以前后分别跑了两次
测试结果：
-
没有return:
没有return
从上图很容易得出以下结论：
-
thread_pool和dummy_pool运行速度几乎没有什么区别，因为都是线程池，而且从实现代码分析，其实dummy_pool就是thread_pool，只是套了一层壳而已
DummyPool实现
-
单线程运行速度比多线程要快，这就是因为python的GIL机制了，一个进程内同一时间只能允许一个线程进行运算，多线程只会让时间白白在线程间切换上了。
这时有人会说，那python的多线程不就废了，要它何用？
其实不然，这里只是做了纯运算的实验，没有任何IO，如果是高IO的话情况就不一样了，因为在等待IO完成时会去处理另外的线程，而IO往往耗时较高，所以在一些高IO情况下（如批量处理文件、网络请求、爬虫等）还是可以合理使用python的多线程的 -
单进程运行比单线程慢，这个也能理解，毕竟开一个线程比开一个进程要简单得多，没有资源分配等乱七八糟的东西
-
多进程比单进程运行快，这要是不快就奇怪了，毕竟多进程是分散在不同cpu核上跑的，这里和多线程比优势就很明显了，所以一些科学运算想要提升速度就会用多进程策略了
-
当多进程数够多情况下会超越多线程的速度，原因很简单，多线程并不会因为线程数增多而变快，而多进程却可以，所以超越是必然的
-
-
有return:
有return
拿这张图对比上面没有return的那张就会发现一些有意思的事情：
- 有return后单线程和多线程速度几乎一致了，但多进程还是比单进程要快很多，由于我电脑是4核的，所以还能大致看出，4个进程以后速度并没有提升了
- 有return后总体运算速度都慢了，特别是进程的速度，慢了一倍，这里原因是进程间通信耗时较大，需要把结果return到主进程中，所以做大量运算时尽量避免进程间通信
测试存在IO操作的情况
上面都是纯运算，没有IO，接下来就看看存在IO操作会是什么样吧，代码如下，在循环计算前增加request请求
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# by vellhe 2017/7/1
import time
from multiprocessing.pool import ThreadPool
from multiprocessing import Pool as ProcessPool
import requests
max_range = 50
def run(i):
requests.get("http://www.qq.com")
for x in range(10000):
i += i * x
return i
def thread_pool(num):
p = ThreadPool(num)
start_time = time.time()
ret = p.map(run, range(max_range))
p.close()
p.join()
print("thread_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))
def process_pool(num):
p = ProcessPool(num)
start_time = time.time()
ret = p.map(run, range(max_range))
p.close()
p.join()
print("process_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))
if __name__ == "__main__":
for i in range(1, 9):
thread_pool(i)
process_pool(i)
print("=====")
测试结果：
IO操作结果
由上图可知:
- 存在IO操作的话，python的多线程才会有用武之地，有效提升了速度
- 存在IO情况下，多进程效率还是会比多线程高很多
- 进程和线程数都是在4个后速度没有再提升了，因为我电脑是4核的
继续追加实验，看看多进程和多线程下CPU使用情况
分别做了好几次实验，惊奇的发现个很神奇的事情，不管开多少个进程或者线程，每次cpu核占用情况都是大致如下：
cpu使用情况
结果并没有出现我想像中的，单进程是一个核占用暴涨，其它核都是休息状，我也解释不了为什么了，难道是multiprocessing有优化？还是系统层做了优化？所以再做了一个实验，没有用任何进程池，直接for循环计算：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# by vellhe 2017/7/1
import time
max_range = 100000000
def run(i):
i = i * i
return i
if __name__ == "__main__":
start_time = time.time()
for i in range(max_range):
run(i)
print("costTime: %fs" % (time.time() - start_time))
结果居然还是各个核的占用情况几乎是均匀的，所以几乎可以断定，这是系统层的优化了，所以先告一段落吧，以后再继续深究
后语
来个大致总结吧，针对python而言：
- 纯运算情况下单线程比多线程更快
- 多线程在IO操作较多情况下才能很好的发挥作用，但效率还是低于多进程
- 单进程运行比单线程慢，但当多进程数够多情况下会超越单线程的速度
- 多进程比单进程运行快
- 对于多进程而言，有return会比没有return慢很多很多，对于多线程却只会慢一点点
- 【疑惑】不管开多少个进程或者线程，各个核占用情况几乎是均匀的，猜测是系统底层有优化
ps：关于我的疑惑，知道明确结论的大侠们请给我留言，多谢
