ParaFly - 命令行并行(批量)
2020-07-25 本文已影响0人
吴十三和小可爱的札记
简介
ParaFly可以利用多线程程序编译指令(OpenMP)进行简单Unix/linux的并行命令处理,其优点是:
-
如果命令运行失败,会给出反馈和记录
-
如果命令运行失败,重新运行ParaFly时,将只运行上次失败的命令。
用法和参数
-
利用R/python 编写出包含一系列命令的txt文本。
-
利用ParaFly 对文本内每一条命令进行遍历运行。
ParaFly (Required) (opts)
必要参数:
-
-c <str>: 指定命令行所在文件夹
-
-CPU <int>: 指定线程数目
可选参数:
-
-shuffle: randomly shuffles the command order
-
-failed_cmds <str>: filename to capture failed commands. default("FailedCommands")
-
-v: simple progress monitoring.
-
-vv : increased verbosity in progress monitoring.