xargs命令使用
xargs命令是给其他命令传递参数的一个过滤器,也是组合多个命令的一个工具。它擅长将标准输入数据转换成命令行参数,xargs能够处理管道或者stdin并将其转换成特定命令的命令参数。xargs也可以将单行或多行文本输入转换为其他格式,例如多行变单行,单行变多行。xargs的默认命令是echo,空格是默认定界符。这意味着通过管道传递给xargs的输入将会包含换行和空白,不过通过xargs的处理,换行和空白将被空格取代。xargs是构建单行命令的重要组件之一。
1、xargs主要参数
选项 | 含义 |
---|---|
-0 | 当 stdin 含有特殊子元的时候,将其当成一般字符 |
-a file | 从文件中读入作为 stdin |
-e flag | 注意有的时候可能会是-E,flag 必须是一个以空格分割的标志,当 xargs 分析到含有 flag 这个标志的时候就停止 |
-p | 当每次执行一个 argument 的时候咨询问一次用户. |
-n num | 后面加次数,表示命令在执行的时候一次用 arguments 的个数,默认是用所有的. |
-t | 便是先打印命令,然后在执行 |
-i | 或者是-I,将 xargs 的每项名称,一般是一行一行的赋值给{},可以用{}代替 |
-r no-run-if-enpty | 当 xargs 的输入为空的时候则停止 xargs,不用再去执行了 |
-s num | 命令行的最大字符数 |
-d delim | 分隔符,默认的 xargs 分隔符是回车,argument 的分隔符是空格,这里修改的是 xargs 的分隔符 |
-x exit | 的意思,主要是匹配-s 使用 |
-P | 修改最大的进程数,默认是 1,为 0 的时候使用全部 |
2、使用例子
2.1 在当前目录下查找所有用户具有读、写和执行权限的文件,并收回相应的写权限
[root@localhost test]# ll
总计 312
-rw-r--r-- 1 root root 302108 11-03 06:19 log2012.log
-rw-r--r-- 1 root root 0 11-12 22:25 log2013.log
-rw-r--r-- 1 root root 0 11-12 22:25 log2014.log
drwxr-xr-x 6 root root 4096 10-27 01:58 scf
drwxrwxrwx 2 root root 4096 11-12 19:32 test3
drwxrwxrwx 2 root root 4096 11-12 19:32 test4
[root@localhost test]# find . -perm -7 -print | xargs chmod o-w
[root@localhost test]# ll
总计 312
-rw-r--r-- 1 root root 302108 11-03 06:19 log2012.log
-rw-r--r-- 1 root root 0 11-12 22:25 log2013.log
-rw-r--r-- 1 root root 0 11-12 22:25 log2014.log
drwxr-xr-x 6 root root 4096 10-27 01:58 scf
drwxrwxr-x 2 root root 4096 11-12 19:32 test3 #这里的write权限没了
drwxrwxr-x 2 root root 4096 11-12 19:32 test4
需要注意的是,如果有一些文件名或者其他有意义的名词内含空白子元的时候,xargs 可能会出现误判。如下:
$ touch 'file 1.log' ‘file 2.log’
$ ll
总用量 0
-rw-r--r-- 1 root root 0 7月 13 10:18 file 1.log
-rw-r--r-- 1 root root 0 7月 13 10:18 file 2.log
$ find -name '*.log'
./file 2.log
./file 1.log
$ find -name '*.log' | xargs rm
rm: 无法删除"./file": 没有那个文件或目录
rm: 无法删除"2.log": 没有那个文件或目录
rm: 无法删除"./file": 没有那个文件或目录
rm: 无法删除"1.log": 没有那个文件或目录
原因很简单,xargs 默认是以空白字符(空格,tab,换行符)来分割记录的,因此文件名 ./file 1.log 被解释成了两个记录./file 和 1.log,因此 rm 找不到这两个文件。
为了解决此类问题,聪明的人类想出了一个办法,让 find 在打印出一个文件名之后接着输出一个 null 字符(‘ ’)而不是换行符,然后再告诉 xargs 也用 null 字符来作为记录的分隔符,这就是 find 的-print 和 xargs 的-0
选项.
$ find -name '*.log' -print0 | xargs -0 rm
2.2 使用-i参数默认的前面输出用{}代替,-I参数可以指定其他代替字符
[root@localhost test]# ll
总计 12drwxr-xr-x 6 root root 4096 10-27 01:58 scf
drwxrwxr-x 2 root root 4096 11-13 05:50 test3
drwxrwxr-x 2 root root 4096 11-13 05:50 test4
[root@localhost test]# cd test4
[root@localhost test4]# find . -name "file" | xargs -I [] cp [] ..
[root@localhost test4]# ll
总计 304
-rw-r--r-- 1 root root 302108 11-12 22:54 log2012.log
-rw-r--r-- 1 root root 61 11-12 22:54 log2013.log
-rw-r--r-- 1 root root 0 11-12 22:54 log2014.log
[root@localhost test4]# cd ..
[root@localhost test]# ll
总计 316
-rw-r--r-- 1 root root 302108 11-13 06:03 log2012.log
-rw-r--r-- 1 root root 61 11-13 06:03 log2013.log
-rw-r--r-- 1 root root 0 11-13 06:03 log2014.log
drwxr-xr-x 6 root root 4096 10-27 01:58 scf
drwxrwxr-x 2 root root 4096 11-13 05:50 test3
drwxrwxr-x 2 root root 4096 11-13 05:50 test4
这里使用的是-I []
参数,使用-i
参数可以达到同样的效果:
find . -name "file" | xargs -i cp {} ..
2.3 find后执行xargs提示xargs: argument line too long解决方法
[root@pd test4]# find . -type f -atime +0 -print0 | xargs -0 -l1 -t rm -f
rm -f
-l1
是一次处理一个;-t
是处理之前打印出命令
2.4 使用 -n number
指定每次给后面的命令多少参数
[13:00 sxuan@hulab ~]$ echo '11@22@33@44@55@66@77@88@99@00' | xargs -d '@' -n 3 echo
11 22 33
44 55 66
77 88 99
00
-n
表示将xargs生成的命令行参数,每次传递几个参数给其后面的命令执行,例如如果xargs从标准输入中读入内容,然后以分隔符分割之后生成的命令行参数有10个,使用 -n 3 之后表示一次传递给xargs后面的命令是3个参数,因为一共有10个参数,所以要执行4次,才能将参数用完。
-d
选项指定特定的分隔符。
2.5 并行下载文件
cat url_file |xargs -n 3 -P 10 aria2c -Z
每次使用10个线程并行下载3个文件。
2.6文件重命名
# 把所有以.json为后缀的文件mv到bak目录;如果json文件太多,直接mv *.json bak是不行的。
find . -type f -name "*.json"|xargs -n10 -I% mv % bak
# 把所有json文件重命名为以BAK结尾。find可以使用正则匹配,从而实现更多灵活性。
find . -type f -name "*.json"|xargs -n10 -I% mv % %.BAK
# 对所有json文件进行sed替换,把其中的_id都换成ID,同时原文件变成.bak后缀文件。
find . -type f -name "*.json"|xargs -n3 sed -i.bak 's/\_id/ID/g'
参考:
每天一个linux命令(21):find命令之xargs
shell 学习
xargs命令详解,xargs与管道的区别
Linux中,关于find结合xargs/parallel的妙用有? (同时要是实用的,不炫技的)