77.《Bioinformatics Data Skills》之

xargs是一个非常强力的工具，它可以对命令行输入的各个参数进行统一的操作（类似于find -exec命令）。

xargs基本用法

首先创建待删除的临时文件：

$ touch zmays{A,B}_R{1,2}-temp.fastq

通过find与xargs组合可以进行删除：

$ find . -name "*-temp.fastq" | xargs rm

上述命令等同于：

$ rm zmaysA_R1-temp.fastq zmaysA_R2-temp.fastq zmaysB_R1-temp.fastq zmaysB_R2-temp.fastq

rm，touch，mkdir等命令都可以传入多个参数，但如果程序一次只能接受一个参数，可以增加-n 1参数保证每次只传入一个参数，多次运行：

$ find . -name "*-temp.fastq" | xargs -n 1 rm

注意：xargs默认以空格、tab或者换行符作为参数分割点，为了避免文件名中存在空格或者特殊字符出错，更为鲁棒的做法是使用零字节分隔符，如下：

$ find . -name "sample [AB].fastq" -print0 | xargs -0 rm

xargs占位符

很多工具以位置或者参数名指定输入，这就需要xargs传入的参数在固定的位置出现。可以使用-I{}指定xargs使用占位符，之后在参数应该出现的位置使用{}代替。例如基于base命令去除每个文件前后缀：

$ find . -name "*.fastq" | xargs -I{} basename {} .fastq
zmaysB_R1
zmaysB_R2
zmaysA_R1
zmaysA_R2
zmaysC_R1
zmaysC_R2

假设有一个fastq_stat工具用于评估fastq文件质量，通过--in参数传入fastq文件，通过--out传出结果总结。可以通过如下方式运行：

$ find . -name "*.fastq" | xargs -I{} basename {} .fastq | xargs -I{} fastq_stat --in {}.fastq --out ../summary/{}.txt

xargs多线程

多线程可以有效地降低程序运行时间，最简单粗暴的是使用for循环实现：

for filename in files; do
    program "$filename" &
done

以上命令可以将每个文件都开一个线程放在后台运行，这种方式占用的线程数依赖于文件数目，在共享的服务器上运行不可控也不道德。而使用xargs只需要指定-P <线程数>即可，例如前面提到的代码可以改写为：

$ find . -name "*.fastq" | xargs -I{} basename {} .fastq | xargs -P 6 -I{} fastq_stat --in {}.fastq --out ../summary/{}.txt

补充：

xargs无法分辨出管道与重定向命令，可以通过创建脚本来解决这个问题，例如：

#!/bin/bash
set -euo pipefail

sample_name=$(basename "$1" .fastq)
some_program ${sample_name}.fastq | another_program > ${sample_name}-result.txt

之后在xargs后面调用：

$ find . -name "*.fastq" | xargs -P 6 -n 1 bash script.sh