shell脚本

2017-09-05 本文已影响152人运维阿文

1.建立和运行shell程序

什么是shell程序呢? 简单的说shell程序就是一个包含若干行
shell或者linux命令的文件.
象编写高级语言的程序一样,编写一个shell程序需要一个文本编辑器.如VI等.
在文本编辑环境下,依据shell的语法规则,输入一些shell/linux命令行,形成一个完整的程序文件.
执行shell程序文件有三种方法
(1)#chmod +x file
(2)#sh file
(3)# . file
在编写shell时,第一行一定要指明系统需要那种shell解释你的shell程序,如:#!/bin/bash
Unix/Linux上常见的Shell脚本解释器有bash、sh、csh、ksh等，习惯上把它们称作一种Shell。我们常说有多少种Shell，其实说的是Shell脚本解释器。

shell脚本的基本元素

#!<命令解释器>
#  --为注示
shell命令
流程控制（if/for/while/case/function）

为什么使用shell

解决重复操作的作业
节约时间,提高工作效率
功能强大
不需要编译

shell通配符

？ 任意单个字符,不能匹配空
* 任意零个或多个字符组(不能匹配以点开头的文件)
[ab] a或者b
[a-z] a到z之间的任意字符，包括端点在内
是Shell 而非命令本身处理通配符，命令后的通配符会在命令执行前就被代换了
如果需要命令而非Shell处理通配符，请用“\"将通配符转义，跳脱字符

bash中的引号

双引号 “ ” ：允许通过$符号引用其他变量值，会把引号的内容当成整体来看待
单引号 ‘ ’  ：禁止引用其他变量值，shell中特殊符号都被视为普通字符，会把引号的内容当成整体来看待
反撇号 `` ：   会把命令执行的结果输出
$()       在执行命令的过程中会优先执行
;       连续执行命令 
&&      可对一行命令进行分割，在执行过程中考虑上一个命令执行是否是正确的
||              可对一行命令进行分割，在执行过程中不考虑上一个命令执行是否是正确的
!       命令历史
# echo "This  system is "HOSTNAME""
This is system is HOSTNAME
# echo "This system is "$HISTNAME""
This is system is 
# echo "This system is "$HOSTNAME""
This is system is desktop8.example.com
# echo 'This system is "$HOSTNAME"'
This is system is "$HOSTNAME"
[root@desktop8 ~]# echo $5.00
5.00
[root@desktop8 ~]# echo \$5.00
$5.00
echo `ls`cat aaa.sh ``
# 将cmd1执行结果作为cmd2参数，再将cmd2结果作为cmd3的参数
echo $(cat $(ls))
cmd3 $(cmd2 $(cmd1))
echo `cat ddd`ls``
ls && cat ddd
lsa || cat ddd

运算符

    $(())       ：运算符
    $[]
# a=$((1 + 10))
# echo $a

# a=$[1 + 100]
# echo $a
[root@vagrant-centos65 data]# aaa=$((10-1))
[root@vagrant-centos65 data]# echo $aaa
9
[root@vagrant-centos65 data]# aaa=$((10*1))
[root@vagrant-centos65 data]# echo $aaa
10
[root@vagrant-centos65 data]# aaa=$((9/3)) 
[root@vagrant-centos65 data]# echo $aaa
3
[root@vagrant-centos65 data]# aaa=$((9%3))
[root@vagrant-centos65 data]# echo $aaa
0
[root@vagrant-centos65 data]# aaa=$((9**3))
[root@vagrant-centos65 data]# echo $aaa
729

shell的配置文件（软件＋配置文件）
用户加载shell配置流程：
user01-->login-->bash-->/etc/profile-->$HOME/.bash_profile-->$HOME/.bashrc-->/etc/bashrc
全局配置文件

/etc/profile            －－bash工作环境的配置（环境变量）
export i=11
/etc/profile.d/*.sh     －－/etc/profile的扩展配置文件
/etc/bashrc         －－bash的配置文件
针对每个用户的配置文件：
$HOME/.bash_history －－存放命令历史
$HOME/.bash_logout  －－注销/退出shell的时候执行的脚本
$HOME/.bash_profile 
$HOME/.bashrc

常用的几个命令

ctrl + u        --删除当前光标至行首内容
ctrl + c        --中断
ctrl + l        --清屏
ctrl + a        --跳到行首  HOME
crtl + e        --路到行尾  END
ctrl + r        --快速搜索history命令
ctrl + z        --转入后台运行 fg bg
Ctrl + d        --退出shell，logout
↑(Ctrl+p) 显示上一条命令
↓(Ctrl+n) 显示下一条命令

alias --查询系统中所有已经存在的别名

alias 别名＝‘真名’
unalias --取消系统中的别名
unalias 别名
unalias -a  删除所有的别名
临时： alias la='ls -a'
固定：
可以写至以下文件，定义完成需要使用source来刷新，或者注销重新登录用户：
/etc/profile
$HOME/.bash_profile
$HOME/.bashrc
/etc/bashrc
/etc/profile.d/*.sh

历史命令

history         查询当前用户用过的所有命令历史（内存）
history -w      同步内存中的命令至硬盘（$/HOME/.bash_history）
                    自动同步：exit/注销
echo "" > $HOME/bash_history    --清空命令历史
调用命令历史： 
    !101    通过编号
    !!  调用最后一条命令历史
    !vim    调用离我最近一条以vim开头的命令历史
    !$  调用最后一条命令历史中的参数
        命令字　+　[选项]　+ 参数
        ls -l /
    ctrl + r    查找命令历史

bash的特殊符号

 标准输入                               ０
 标准正确输出（屏幕）　    １
 错误输出 （屏幕）              ２
        >       --输出覆盖重定向
        >>      --输出追加重定向
        2>      --错误覆盖输出重定向
        2>>     --错误追加输出重定向
        &>      --输出正确/错误重定向
    &>>    --RHEL6可以实现正确和错误追加重定向。
    >>  --- 2>&1 rhel5
# cat /root/a2.txt /root &> a.txt       －－将正确和错误一起覆盖重定向至a.txt
cat /root/a2.txt /root  >> a.txt ２>＆1 --将正确和错误一起追加重定向至a.txt
[root@i ~]# ls /ttttt /etc/passwd- >1.txt 2>2.txt && &>3.txt

2.shell中的变量

(1)常用系统变量
# :保存程序命令行参数的数目
? :保存前一个命令的返回码
0 :保存程序名
* :以(" 1 2...")的形式保存所有输入的命令行参数所有的参数会被当做一个字符串
@ :以(" 1"" 2"...)的形式保存所有输入的命令行参数所有的参数会以空格做分隔符单做一个字符串

(2)定义变量

shell语言是非类型的解释型语言,不象用C++/JAVA语言编程时需要事先声明变量.给一个变量赋值,实际上就是定义了变量.
在linux支持的所有shell中,都可以用赋值符号(=)为变量赋值.
如: abc=9
由于shell程序的变量是无类型的,所以用户可以使用同一个变量时而存放字符时而存放整数. 如:name=abc (bash/pdksh)
在变量赋值之后,只需在变量前面加一个去引用.
echo $abc
删除变量:
unset abc

(3)位置变量

当运行一个支持多个命令行参数的shell程序时,这些变量的值将分别存放在位置变量里. 其中第一个参数存放在位置变量1,第二个参数存放在位置变量2,依次类推...,shell保留这些变量,不允许用户以令外的方式定义他们.同别的变量,用符号引用他们.
总结：

变量的设置
变量的引用
删除变量

(4)内置bash中变量

$#：命令行中位置变量的个数
$*：所有位置变量的内容
$@: 所有位置参数的内容,与$*的分割任不一样，建议和所有的位置参数时使用这种方式。
$?：上一条命令执行后返回的状态，当返回状态值为0时表示执行正常，非0值表示执行异常或出错
$$：当前所在进程的进程号
$!：后台运行的最后一个进程号
$0：当前执行的进程/程序名

3.shell中引号的使用方法

shell使用引号(单引号/双引号)和反斜线("")用于向shell解释器屏蔽一些特殊字符. 反引号(")对shell则有特殊意义.
如: abc="how are you" (bash/pdksh)
这个命令行把三个单词组成的字符串how are you作为一个整体赋值给变量abc.
abc1='$LOGNAME,how are you!' (bash/pdksh)
abc2="$LOGNAME,how are you!" (bash/pdksh)
LOGNAME变量是保存当前用户名的shell变量,假设他的当前值是:wang.执行完两条命令后, abc1的内容是LOGNAME, how are you!.而abc2的内容是;wang, how are you!.
象单引号一样,反斜线也能屏蔽所有特殊字符.但是他一次只能屏蔽一个字符.而不能屏蔽一组字符.
反引号的功能不同于以上的三种符号.他不具有屏蔽特殊字符的功能.但是可以通过他将一个命令的运行结果传递给另外一个命令.
如:
contents=ls (bash/pdksh)

4.shell程序中的test命令

算术操作（expr）
在bash中只能做整数的运算

+ 加
- 减
* 乘
/ 除（取整）
% 取余
$(())
$[]
[root@vagrant-centos65 data]# aa=$((10-1))
[root@vagrant-centos65 data]# echo $aa
9
[root@vagrant-centos65 data]# bb=$[10/10]
[root@vagrant-centos65 data]# echo $bb
1
[root@vagrant-centos65 data]# cc=$[10+10]
[root@vagrant-centos65 data]# echo $cc
20

退出状态
在Linux系统中，每当命令执行完成后，系统都会返回一个退出状态。该退出状态用一整数值表示，用于判断命令运行正确与否。
若退出状态值为0，表示命令运行成功
若退出状态值不为0时，则表示命令运行失败
最后一次执行的命令的退出状态值被保存在内置变量“$?”中，所以可以通过echo语句进行测试命令是否运行成功
0 表示运行成功，程序执行未遇到任何问题
1~125 表示运行失败，脚本命令、系统命令错误或参数传递错误
126 找到了该命令但无法执行
>128 命令被系统强制结束

test命令
用途：测试特定的表达式是否成立，当条件成立时，命令执行后的返回值$?为0，否则为其他数值
格式： test 条件表达式
[ 条件表达式 ]

test可以测试表示有哪些：
1、文件状态
2、字符串的比对
3、整数的比对
4、多条件组合（|| && !）(-a -o !)

#man test     
-a  = &&     -o = ||   !
单个条件：   [ ! 1 -eq 1 ]   两个值的结果再取反 ，感叹号的优先级别最低，除非加括号；
! [ 1 -eq 1 ]
多个条件：
[ 1 -eq 1 -a 10 -eq 10 ]   =  [ 1 -eq 1 ] && [ 10 -eq 10 ]  两个条件成立，才正确；
[ 1 -eq 1 -o 10 -eq 10 ]    = [ 1 -eq 1 ] || [ 10 -eq 10 ] 取或； 
[ 1 -eq 1 -o 10 -eq 10 -o 1 -eq 1 ]    = [ 1 -eq 1 ] || [ 10 -eq 10 ]  ||  [ 1 -eq 1 ]
-----------------------------------------------------
# test 1 = 1
# echo $?
0
# [ 1 = 1 ]                        --[] = test      --单条件
# echo $?
0
# [ 1 = 1 ] && echo YES
YES
# [ 1 = 2 ] && echo YES --无返回
||      -o      or
&&      -a      and
!

条件的组合：
[ 1 = 1 -a 1 = 2 ]      与组合
[ 1 = 1 ] && [ 1 = 2 ]  与组合
[ 1 = 1 ] || [ 1 = 2 ]      或组合
[ 1 = 1 -o  1 = 2 ]         或组合

在bash中,命令test用于计算一个条件表达式的值.他们经常在条件语句和循环语句中被用来判断某些条件是否满足.
test命令的语法格式:
test expression
或者
[expression]

逻辑运算符

逻辑运算符主要包括逻辑非、逻辑与、逻辑或运算符，具体描述如下表所示：
逻辑操作符                       描述 
！expression                         如果expression为假，则测试结果为真
expression1 a expression2   如果expression1和expression同时为真，则测试结果为真
expression1 o expression2   如果expression1和expression2中有一个为真，则测试条件为真

(2)整数操作符具有和字符操作符类似的功能.只是他们的操作是针对整数

(3)用于文件操作的操作符,他们能检查:文件是否存在,文件类型等

(4)shell的逻辑操作符用于修饰/连接包含整数,字符串,文件操作符的表达式

test表达式 | 含义
! expr |当expr的值是False时,返回True
Expr1 -a expr2|当expr1,expr2值同为True时,返回True
Expr1 -o expr2|当expr1,expr2的值至少有一个为True时,返回True

5.条件语句

同其他高级语言程序一样,复杂的shell程序中经常使用到分支和循环控制结构,
bash,pdksh分别都有两种不同形式的条件语句:if语句和case语句.

(1)if语句

语法格式:
bash/pdksh用法:
if [expression1]
then
commands1
elif [expression2]
commands2
else
commands3
if
含义:当expression1的条件为True时,shell执行then后面的commands1命令;当
expression1的条件为false并且expression2的条件满足为True时,shell执行
commands2命令;当expression1和expressin2的条件值同为false时,shell执行
commands3命令.if语句以他的反写fi结尾.

(2)case语句

case语句要求shell将一个字符串S与一组字符串模式P1,P2,...,Pn比较,当S与
某个模式Pi想匹配时,就执行相应的那一部分程序/命令.shell的case语句中字符
模式里可以包含象*这样的通配符.
语法格式:
bash/pdksh用法:
case string1 in
str1)
commands1;;
str2)
commands2;;
*)
commands3;;
esac
含义:shell将字符串string1分别和字符串模式str1和str2比较.如果string1与str1匹配,则shell执行commands1的命令/语句;如果string11和str2匹配,则shell执行commands2的命令/语句.否则shell将执行commands3的那段程序/命令.其中,每个分支的程序/命令都要以两个分号(;;)结束.

6.循环语句

当需要重复的某些操作时,就要用到循环语句

(1)for语句

大家知道在很多编程语言中for语句是最常见.在shell中也不例外.for语句要求shell将包含
在这个语句中的一组命令连续执行一定的次数.
语法格式:
bash/pdksh
用法1:
for var1 in list
do
commands
done
含义:在这个for语句中,对应于list中的每个值,shell将执行一次commands代表的一组命令.
在整个循环的每一次执行中,变量var1将依此取list中的不同的值.
用法2:
for var1
do
setatements
done
含义:在这个for语句中,shell针对变量var1中的每一项分别执行一次statements代表的一组
命令.当使用这种形式的语句时,shell认为var1变量中包含了所有的位置变量,而位置变量中
存放着程序的命令行参数值.也就是说,他等价于下列形式:
for var1 in " @"
do
statements
done
举例:
for file ;bash/pdksh
do
tr a-z A-Z< file>file.caps
done

(2)while语句

while语句是shell提供的另一种循环语句. while语句指定一个表达式和一组命令.这个语句使得shell重复执行一组命令,直到表达式的值为False为止.
语法格式:
while expression ;bash
do
statements
done

举例:

#!/bin/bash
count=1
while true
do
   echo "this is a parameter number $count $1"
   shift
   count=$[ $count+1 ]
done

语句中shift命令的功能是将所有的命令行参数依次相左传递.

7.shell中的函数

1、在编写Shell脚本程序时，将一些需要重复使用的命令操作，定义为公共使用的语句块，即可称为函数
2、合理使用Shell函数，可以使脚本内容更加简洁，增强程序的易读性，提高执行效率
shell允许用户定义自己的函数.函数是高级语言中的重要结构.shell中的函数于C或
者其他语言中定义的函数一样.与从头开始,一行一行地写程序相比,使用函数主要好处是有利于组织整个程序.在bash中,一个函数的语法格式如下:
fname (){
shell comands
}
定义好函数后,需要在程序中调用他们.bash中调用函数的格式:
fname [parm1 parm2 parm3...]
调用函数时,可以向函数传递任意多个参数.函数将这些参数看做是存放他的命令行参数的位置变量
总结
利用shell编程是提高系统管理工作效率的重要手段,学好shell跟了解系统基本命令
和管理工具的使用方法同样重要!
附:

A.bash中常用的命令

B.bash中常用的系统变量

排序统计相关的：wc sort uniq

wc
-l 显示行数
-w 显示单词数
-m 显示字符数
默认不加参数，就是相当于上面三个参数都加
[root@li shell01]# cat /etc/passwd |wc -l
79
[root@li shell01]# cat /etc/passwd |wc -w
106
[root@li shell01]# cat /etc/passwd |wc -m
3374
[root@li shell01]# cat /etc/passwd |wc
79 106 3374
wc -L 算一个文件里最长一行有多少个字符
sort 排序命令
[root@li shell01]# cat /etc/passwd |
sort --默认以开头字母排序
-r 反向排序
-n 以数字来排
-f 大小写不敏感
-t 分隔符
-k 接数字代表第几列

cut [-bn] [file] 或 cut [-c] [file] 或 cut [-df] [file]
cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。
-b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。
-c ：以字符为单位进行分割。
-d ：自定义分隔符，默认为制表符。
-f ：与-d一起使用，指定显示哪个区域。
-n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的<br />范围之内，该字符将被写出；否则，该字符将被排除。
[root@li ~]# cut -d -f
[root@li ~]# sort -t -k
[root@li ~]# awk -F n
[root@li shell01]# cat /etc/passwd |sort -t ":" -k 3 --以UID来排序，但是它只会以数字的第一个数字来排也就是说 2要排到14的后面
[root@li shell01]# cat /etc/passwd |sort -t ":" -k 3 -n --多加一个-n参数，才会以整个的数字大小来排序
uniq 唯一命令
默认是以连续的重复值内只取一个
[root@li shell01]# cat /etc/passwd |cut -d ":" -f7 |uniq |grep bash
/bin/bash
/bin/bash
/bin/bash
/bin/bash
[root@li shell01]# cat /etc/passwd |cut -d ":" -f7 |grep bash |uniq
/bin/bash
--在管道用得多的情况下，命令的顺序会造成很大的结果不同
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
练习：
对有下面内容的文件进行操作
http://a.domain.com/1.html
http://b.domain.com/1.html
http://c.domain.com/1.html
http://a.domain.com/2.html
http://a.domain.com/3.html
http://b.domain.com/3.html
http://c.domain.com/2.html
http://c.domain.com/3.html
http://a.domain.com/1.html
得到下面的结果
4 a.domain.com
3 c.domain.com
2 b.domain.com
cat 1.txt |cut -d"/" -f3 |sort|uniq -c |sort -n -r

bash的调试方法

打开调试模式
    • $set -x
    • $bash -x shell.sh

• 关闭调试模式
    • $set +x

sh -n test.sh       --检查语法（结构化语句的语法）
sh -x test.sh       --调试




如果参数过太多，出现这个报错：too many arguments，需要使用xargs
xargs                (1)  - build and execute command lines from standard input

# awk -F: '{print $1}' /etc/passwd | xargs -i mkdir -p {}