生信（四）命令行并行化工具GNU parallel
2019-11-21 本文已影响0人
生信了
原创：hxj7
关键词：parallel
我们在日常工作中经常要“批量”处理一些任务，比如“批量”解压目录下的gz文件。当然，用shell写一个for循环是很简单就可以实现的，比如下面这样：
image
或者像这样利用xargs命令：
image
或者利用find命令：
image
但是这样的操作往往是很耗时的，因为它是“顺序”执行的，也就是说如果有f1.gz，f2.gz，f3.gz这三个压缩文件的话，f2.gz必须要等f1.gz解压完成后才能开始解压。同理，f3.gz也必须要等f2.gz解压完成后才能开始解压。
那有没有一种方法可以同时解压这三个文件呢？答案就是并行化处理。一般并行化的背后是多线程或者多进程。比如，可以利用Python的threading（多线程模块）或multiprocessing模块（多进程模块）来实现并行化。但是，操作Python模块的做法显得有些“笨重”，有没有更简单的方法，比如命令行工具呢？GNU parallel就是基于此目的开发的命令行并行化工具。
让我们来看看parallel是如何并行化处理上面的例子：
image
parallel的更多用法请参考其项目主页（http://www.gnu.org/software/parallel/）。
（公众号：生信了）
image
