10-文本处理三剑客之sed

本章内容

◆ Sed介绍
◆ Sed用法
◆ Sed高级用法

处理文本的工具sed

● Stream EDitor, 行编辑器
● sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。然后读入下行，执行下一个循环。 
    如果没有使诸如‘D’ 的特殊命令，那会在两个循环之间清空模式空间，但不会清空保留空间。这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
● 功能：主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等
● 参考： http://www.gnu.org/software/sed/manual/sed.html

sed工具

用法：
    sed [option]... 'script' inputfile...
常用选项：
    -p 输出打印
    -n 不输出模式空间内容到屏幕，即不自动打印
    -e 多点编辑
    -f /PATH/SCRIPT_FILE 从指定文件中读取编辑脚本
    -r 支持使用扩展正则表达式
    -i.bak 备份文件并原处编辑
script:
    '地址命令'


地址定界：
(1) 不给地址：对全文进行处理
(2) 单地址：
    #：指定的行，$：最后一行
    /pattern/：被此处模式所能够匹配到的每一行
(3) 地址范围：
    #,#
    #,+#
    /pat1/,/pat2/
    #,/pat1/
(4) ~：步进
    1~2 奇数行
    2~2 偶数行

sed -n '2p' passwd  #打印第2行
ifconfig eth0 | sed -n "2p"             #输出第二行
ifconfig eth0 | sed -n "/network/p"     #匹配的行

sed -n '/^b/,/^f/p' passwd              #b开头的行到f开头的行
seq 10 | sed -n '1~2p'                  #奇数行(步进2)
seq 10 | sed -n '2~2p'                  #偶数行


编辑命令：
    d 删除模式空间匹配的行，并立即启用下一轮循环
    p 打印当前模式空间内容，追加到默认输出之后
    a [\]text 在指定行后面追加文本，支持使用\n实现多行追加
    i [\]text 在行前面插入文本
    c [\]text 替换行为单行或多行文本
    w /path/file 保存模式匹配的行至指定文件
    r /path/file 读取指定文件的文本至模式空间中匹配到的行后
    = 为模式空间中的行打印行号
    ! 模式空间中匹配行取反处理

#小笔记
sed 10 | sed '1~2d'                 #偶数行
ss -nt | sed '1d'                   #删除第一行
sed '/^#/d;/^$/d' /etc/fstab        #删除注释行和空行
sed -e '/^# .*/d' -e '/^$/d' /etc/fstab     #删除注释行和空行
seq 10 | sed '1~2a line'            #奇数行后面追加line
sed '/^#/;w /data/httpd.conf' /etc/httpd/conf/httpd.conf    #删除注释行并另存为


s/// 查找替换,支持使用其它分隔符，s@@@，s###
替换标记：
    g 行内全局替换
    p 显示替换成功的行
    w /PATH/FILE 将替换成功的行保存至文件中

#小笔记
ifconfig eth0 | sed -n '2s/^.*inet//;s@ netmask.*@@p'       #取出IP地址
ifconfig eth0 | sed -nr '2s/([^0-9]+)([0-9.]+)( .*$)/\2/p'  #通用取IP
ifconfig eth0 | sed -nr '2s/[^0-9]+([0-9.]+) .*$/\1/p'

sed -n '/#<VitrualHost/,/#<\/VitrualHost/s@#@@p' /etc/httpd/conf/httpd.conf
echo /etc/sysconfig/network-scripts/ | sed -r 's@(^/.*/)([^/]+)/?$@\1@'     #需要深入理解

(^/.*/)     以"/"开头任意字符到最后一个"/"为止
([^/]+)     不包含"/"的字段
/?$         以空或“/”结尾

#整行追加
linux16 /vmlinuz-3.10.0-957.el7.x86_64 root=UUID=914aff6d-16ad-46ab-a08d-1dfcc47d74f1 ro rhgb quiet LANG=en_US.UTF-8
linux16 /vmlinuz-0-rescue-207a3801be044e60874da3c31ef7e3e0 root=UUID=914aff6d-16ad-46ab-a08d-1dfcc47d74f1 ro rhgb quiet

[root@Centos7 ~]#sed -nr '/^[[:space:]]+linux16/s#(.*)#\1 net.ifnames=0#p' /boot/grub2/grub.cfg
[root@Centos7 ~]#sed -nr '/^[[:space:]]+linux16/s#.*#& net.ifnames=0#p' /boot/grub2/grub.cfg

linux16 /vmlinuz-3.10.0-957.el7.x86_64 root=UUID=914aff6d-16ad-46ab-a08d-1dfcc47d74f1 ro rhgb quiet LANG=en_US.UTF-8 net.ifnames=0
linux16 /vmlinuz-0-rescue-207a3801be044e60874da3c31ef7e3e0 root=UUID=914aff6d-16ad-46ab-a08d-1dfcc47d74f1 ro rhgb quiet net.ifnames=0

#替换相应行
GRUB_CMDLINE_LINUX="rhgb quiet"
[root@Centos7 ~]#sed -nr '/GRUB_CMDLINE_LINUX/s#"$# net.ifnames=0"#p' /etc/default/grub 
[root@Centos7 ~]#sed -nr '/GRUB_CMDLINE_LINUX/s#(.*)"$#\1 net.ifnames=0"#p' /etc/default/grub
GRUB_CMDLINE_LINUX="rhgb quiet net.ifnames=0"

#sed引用变量使用三对单引号括起来's/'''$变量'''//',sed是用双引号时则直接引用"s/$变量//"
    var=root
    sed 's/'''$var'''/wang/' passwd
    
高级编辑命令
    P： 打印模式空间开端至\n内容，并追加到默认输出之前
    h: 把模式空间中的内容覆盖至保持空间中
    H：把模式空间中的内容追加至保持空间中
    g: 从保持空间取出数据覆盖至模式空间
    G：从保持空间取出内容追加至模式空间
    x: 把模式空间中的内容与保持空间中的内容进行互换
    n: 读取匹配到的行的下一行覆盖至模式空间
    N：读取匹配到的行的下一行追加至模式空间
    d: 删除模式空间中的行
    D： 如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本，
        并不会读取新的输入行，而使用合成的模式空间重新启动循环。如果模式空间
        不包含换行符，则会像发出d命令那样启动正常的新循环

练习

1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符

sed -nr 's/^ +//p' /etc/grub2.cfg

2、删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符

sed -nr 's/^# +//p' /etc/fstab

3、在centos6系统/root/install.log每一行行首增加#号

sed -n 's/^/#/p' /root/install.log  

4、在/etc/fstab文件中不以#开头的行的行首增加#号

sed -n '/^[^#]/s/^/#/p' /etc/fstab

5、处理/etc/fstab路径,使用sed命令取出其目录名和基名

DIRNAME=echo /etc/fstab | sed -r 's@(^/.*/)([^/]+)/?$@\1@'
FILENAME=echo /etc/fstab | sed -r 's@(^/.*/)([^/]+)/?$@\2@'

6、利用sed 取出ifconfig命令中本机的IPv4地址

ifconfig eth0 | sed -nr '2s@[^0-9]+([0-9.]+) .*$@\1@p'

7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数

ls /mnt/Packages/ | sed -nr '/.*\.rpm$/s@.*\.(.*)\.rpm$@\1@p' | sort | uniq -c
ls /mnt/Packages/ | rev | cut -d. -f2 | rev | sort | uniq -c

8、统计/etc/init.d/functions文件中每个单词的出现次数，并排序（用grep和sed两种方法分别实现）

grep -Eo "\<[a-zA-Z]+\>" /etc/init.d/functions | sort | uniq -c | sort -nr
sed -r 's@\<[^[:alpha:]]\>+@\n@g' /etc/init.d/functions | sed -r '/^$/d' | sort | uniq -c | sort -nr

9、将文本文件的n和n+1行合并为一行，n为奇数行

sed -n 'N;s/\n/ /p' /etc/passwd

​