python并行编程

由于需要处理大文本数据，而程序预处理时速度过慢，对程序改为并发编程，服务器为4核cpu，充分利用服务器资源，加速程序运行。

需求：并行读取文件，处理文件，并写入文件，即对文件的并行处理。

考虑到文件为50G，首先使用linux分割文件，将文件分为10个，然后对这10个文件进行并行的预处理，加快处理速度。切割文件的指令放在Linix话题下。

测试：

python多线程：

1.threading模块