shell文件处理常用指令
2017-02-08 本文已影响78人
乾九二
8FD134DA7E67D6F6D0B6ED885360AA41.png
对文件内容进行全局替换
# 将文件 file.txt 中的每行中的 abc 替换为 ABC，并将结果写入 file_new.txt 中
sed 's/abc/ABC/g' file.txt > file_new.txt
对调文件中的某两列数据
# 将文件中以空格进行分隔的列（使用 -F [分隔符] 可以指定) 第一列和第二列数据对调
awk '{var=$2; $2=$1; $1=var}1' file.txt > file_new.txt
将多行文件转换为一行
cat file.txt | xargs
删除符合条件的行
sed '1,3d' file #删除1-3行
sed '/[Aa]bc/p' file #打印包含Abc或者abc的行
sed '/ABC/d' #删除包含ABC的行
sed '/ABC/!d' #不删除包含ABC的行
sed '5,$d' #从第五行到最后一行全部删除
sed 1q #显示第一行
sed 's/$/.../g' #每行的最后面添加 ...
sed 's/d.(sk)/1&/g' #满足d*sk的单词,在单词前添加sk sed 's/<[^>]*>//g' 去除html标签
sed '/ABC/a123' #在包含ABC的行后面添加一行数值为123的行
sed '/ABC/i123' #跟a不同的是i是插入当前行的前面
sed '/ABC/c123' #包含ABC的行将更改为123
sed '/ABC/{n;s/123/ABC/g}' #精确匹配包含ABC的下一行,将123全部替换成ABC
sed '/ABC/{s/A/a/}' #在包含ABC的行将A替换成a
sed -e '/ABC/h' -e '$g' #将包含ABC的行复制,在最后一行添加.
# 将包含ABC的行复制并删除,在包含123的行后添加. g等于在当前行覆盖,
# G是在符合条件的行后新增加一行. sed 's/^/ /g' 每行前面增加一个空格
sed -e '/ABC/{h;d}' -e '/123/G'
sed 's/.(.)$/*1/' #将倒数第二位换成*
sed '/ABC/!s/1/*/g' #在不包含ABC的行里,将所有的1替换成*
#在GNU里将不管是1或2或者是3替换成*
sed 's/1|2|3/*/g'
# sed在这个文里Root的一行，匹配Root一行，将no替换成yes.
sed -i ‘/Root/s/no/yes/’ /etc/ssh/sshd_config
# 将包含now 的行 替换为 带时间戳 以及 8080 变量请求数
sed -i "/now/cnow$time_stamp 8080 request=$web1tomcat" /var/www/html/munin/web1-2.html
# 在某行的位置插入一行,
# 如果只是在一个文档后面追加一行，那很简单,
# >> 就可以搞定。不过如果是在指定的某一行里插入。
# 在第8行插入 alias vi='vim'
sed -i "8 s/^/alias vi='vim'/" /root/.bashrc
# 在第一行前插入文本
sed -i '1 i\插入字符串' filename
# 在最后一行插入
sed -i '$ a\插入字符串' filename
# 在匹配行前插入
sed -i '/pattern/ i "插入字符串"' filename
# 在匹配行后插入
sed -i '/pattern/ a "插入字符串"' filename
# 在指定行前插入一行
# 在第2行前插入ttt，并且将结果更新到 filename
# (如果不想将插入真正更新到文件, 去掉后面的-i选项就可以)
sed '2 ittt' -i filename
# 在指定行后插入一行
sed '2 attt' -i filename
# 在指定的多行前面插入
sed 'n,m ittt' -i filename
# 在指定的多行后面插入
sed 'n,m attt' -i filename
输出指定行
## 方案1：
# NR，打印输入文件的记录个数
awk 'NR==7' file
# 例如输出整行以及行号：
awk '{print NR,$0}' file
awk 'NR==7' file
# 其实就是判断行号等于7的情况，
# 由于awk中{print $0} 是默认的， 它会一行一行的比较，
# 当符合NR==7的情况的时候，它就会 {print $0}了。
## 方案2：
sed -n '7p' file
sed -n '7,17p' file
## 补充：
# 输出整个文件的行号：
cat -n file
合并两个文件内容
join 命令
- 这里记录简单的命令，具体复杂的，
man一下
# 简单的将两个第一列数据相同的文件中的行重新组合成一行
$> cat a.txt
joe 100
jane 200
herman 300
chris 400
$> cat b.txt
joe 20
jane 10
syx 90
chris 98
# --nocheck-order 不要求行首为排好序的，很多时候，使用sort排序的仍然join不认，加上这个参数就OK了
$> join --nocheck-order a.txt b.txt
chris 400 98
jane 200 10
joe 100 20
# join 标准输入
# 有时我们需要将多个格式相同的文件 join 到一起，而 join 接受的是两个文件的指令，此时我们可以使用管道和字符“-"来实现
$> join file1 file2 | join - file3 | join - file4
paste 命令
-
cut用来从文本文件或标准输出中抽取数据列或者域，然后再用paste可以将这些数据粘贴起来形成相关文件。粘贴两个不同来源的数据时，首先需将其分类，并确保两个文件行数相同。 -
paste将按行将不同文件行信息放在一行。缺省情况下，paste连接时，用空格或 tab 键分隔新行中不同文本，除非指定- d选项，它将成为域分隔符。 - 具体复杂的，
man一下 - 格式：
paste -d -s -file1 file2 - 选项含义如下：
-
-d指定不同于空格或tab键的域分隔符。例如用@分隔域，使用-d @。 -
-s将每个文件合并成行而不是按行粘贴。 -
-使用标准输入。例如ls -l |paste -，意即只在一列上显示输出。
-
$> cat pas1
ID897
ID666
ID982
$> cat pas2
P.Jones
S.Round
L.Clip
# 基本paste命令将之粘贴成两列
$> paste pas1 pas2
ID897 P.Jones
ID666 S.Round
ID982 L.Clip
# 一行显示5个文件，以逗号","分开
$> ls | paste -d, - - - - -
1.bak,1.txt,append.sed,backll.ee,change.sed
data.f,data.txt,delete_me_and_die,dht,dir1
.....................
分隔文件
split 命令
- 用来将大文件分割成小文件。有时文件越来越大，传送这些文件时，首先将其分割可能更容易。使用vi或其他工具诸如sort时，如果文件对于工作缓冲区太大，也会存在一些问题。因此有时没有选择余地，必须将文件分割成小的碎片。
- 命令格式：
split -output_file-size input-filename output-filename
- 选项含义如下：
-
-output_file-size指的是文本文件被分割的行数
-
- 参数：
-b：值为每一输出档案的大小，单位为 byte。
-C：每一输出档中，单行的最大 byte 数。
-d：使用数字作为后缀。
-l：值为每一输出档的列数大小。
$> ls -l
总用量 8
-rw-r--r-- 1 sam sam 1649 12月 4 11:13 passwd
-rw-rw-r-- 1 sam sam 84 12月 4 11:19 split1
$> split -10 passwd
-rw-r--r-- 1 sam sam 1649 12月 4 11:13 passwd
-rw-rw-r-- 1 sam sam 84 12月 4 11:19 split1
-rw-rw-r-- 1 sam sam 368 12月 4 11:24 xaa
-rw-rw-r-- 1 sam sam 474 12月 4 11:24 xab
-rw-rw-r-- 1 sam sam 495 12月 4 11:24 xac
-rw-rw-r-- 1 sam sam 312 12月 4 11:24 xad
# 生成了四个文件，前三个文件每个文件10行，最后一个8行，分割分的文件名自动产生，格式为x[a-a][z-z]
$> split -l 10 date.file -b -a 3 out_file_prex
# 没10行输出到一个文件，文件名前缀为 out_file_prex，
# 后缀用数字表示，数字使用3位，如：
# out_file_prex000,out_file_prex001,out_file_prex002
取两个文件的交集和并集
交集
- 获取两个文件都有的部分
$> cat 1.txt 2.txt | sort -n | uniq -d
差集
- 去除两个文件都有的部分
$> cat 1.txt 2.txt | sort -n | uniq -u
并集
- 把两个文件放到一起排序，重复的项只算一次
$> sort 1.txt 2.txt | uniq
对称差
- 把两个文件放到一起排序，只输出出现一次的项：
$> sort 1.txt 2.txt | uniq -u
在文件 a 中找出包含文件 b 的行，文件过滤
$>cat a
10/05766798607,11/20050325191329,29/0.1,14/05766798607
10/05767158557,11/20050325191329,29/0.08,14/05767158557
11/05766798608,23
$>cat b
05766798607
05766798608
05766798609
$> awk -F'[/,]' 'NR==FNR{arr[$0]}NR>FNR{if ($2 in arr) print $0}' b a
# 取出a 中 没有在 b 中出现的行
$>awk -F'[/,]' 'NR==FNR{arr[$2]}NR>FNR{if (!($2 in arr)) print $0, $1, $2}' b a
10/05767158557,11/20050325191329,29/0.08,14/05767158557 10 05767158557
- NR：表示awk开始执行程序后所读取的数据行数。
- FNR：awk当前读取的记录数，其变量值小于等于NR（比如当读取第二个文件时，FNR是从1开始重新计数，而NR不会）。
- NR==FNR：用于在读取两个或两个以上的文件时，判断是不是在读取第一个文件。
awk处理多个文件的基本语法是:
awk -F分隔符 'BEGIN { 初始化 } { 循环执行部分 } END { 结束处理 }' file_list1 file_list2
