Linux深入探索05-标准I/O：重定向和管道

----- 最近更新【2021-12-31】-----

一、简介

Unix 最一流的特性之一就是将键盘键入的数据视为与从文件中读取的数据相同。例如，假如你有一个程序需要读取一系列的名称，每行一个。这样的程序既可以从磁盘上的文件中读取名称，也可以从键盘输入读取名称。该程序不需要以特殊的方式编写就可以拥有这样的灵性。这一特性称为“标准输入”，已经构建在Unix中。标准输入允许所有的Unix程序以相同的方式读取数据，而不必考虑数据源。

同理，当Unix程序输出数据时，它们可以利用“标准输出”。这允许所有的程序以相同的方式写数据，而不必担心数据写到哪里去。

Unix有基本的思想：每个基于文本和程序都应该能够从任何源接受输入，并向任何目标写入输出。理解这一个概念非常重要。

二、标准 I/O 与 重定向

标准输入(stdin)：假如你拥有一个对文本进行排序的程序，那么你可以选择从键盘键入文本、从现有文件中读取文本，甚至使用另一个程序的输出。

标准输出(stdout)：同样，sort 程序应该能够在屏幕上显示输出、将输出写入文件或者将输出发送给另一个程序做进一步处理。

标准错误(stderr)：用于输出程序的错误消息。

这里的关键就是输入的源和输出的目标不由程序决定，程序以一种通用的方式读取和写入。

1、重定向标准输出

默认情况下，标准输出被设置为屏幕，但我们每次执行命令的时候都可以重置标准I/O(输入与输出)。

如，我希望将命令的输出写入到文件中，则可以使用>(大于号)。>就像一个箭头，指示了输出的路径。

[linux1@noseeu ~]$ rm test01 
[linux1@noseeu ~]$ ls
404.html  calendar  my_test.txt  sh_test1  sort.php
[linux1@noseeu ~]$ ls > test01
[linux1@noseeu ~]$ cat test01 
404.html
calendar
my_test.txt
sh_test1
sort.php
test01

上面例子把ls命令输出的内容写到了文件test01中。（注：cat读取文件并打印到标准输出）

用以上方法写入到文件时，该文件可以存在，也可以不存在。存在则会替换原来文件的内容，不存在则创建这个文件（就算写入的内容为空也会创建这个文件）。

当你不想覆盖原文件，而只是想把新数据追加到原有数据后面时，可以使用>>。
如：

[linux1@noseeu ~]$ ls >> test01

2、重定向标准输入

默认情况下，标准输入被设置为键盘。使用<(小于号)可以重置标准输入。

如，我想将 test01 文件里的数据进行反向排序：

[linux1@noseeu ~]$ sort -r < test01 
test01
sort.php
sh_test1
my_test.txt
calendar
404.html
[linux1@noseeu ~]$

（注：sort读取输入的数据，并输出排序好的数据，-r选项表示反向排序）

留下问题：
1）当我把 sort < test01这条命令的输出再重定向回test01文件时，即sort < test01 > test01，文件test01变成空文件了，为什么？
2）当我用sort < test01 >> test01时，和预想的一样，数据追加到文件test01中。
3）如果我第二个重定向的是不同文件，sort < test01 > test02，这样也正常，数据正常写入test02文件。

3、文件描述符与标准错误

在 Unix 中，每个输入源和每个输出目标都由一个唯一的数字标识，这个数字称为文件描述符。

默认情况下，Unix 为每个 进程提供3个预定义的文件描述符：0代表标准输入，1代表标准输出，2代表标准错误。

所以，上面重定向标准输出的例子也可以这样写：

ls 1> test01
ls 1>> test01

标准输入的例子可以这样写：

sort -r 0< test01

所以，0< 等价于 <， 1> 等价于 >，1>> 等价于 >>。即0和1在这里是可以省略的。

而在我们重定向标准错误时，使用的是2>或者2>>，这里的数字2是不可以省略的。

如，我们读取了一个不存在的文件：

[linux1@noseeu ~]$ cat test02
cat: test02: No such file or directory
[linux1@noseeu ~]$ cat test02 2> errors
[linux1@noseeu ~]$ 

4、组合使用

1）如， sort 从 mydata文件中读取输入，将输出写入到 results 文件中，并将错误消息写入到errors文件中。

sort < mydata > results 2> errors

这样的用法也有一个不好的地方，比如当shell执行sort < mydata出错时，那后面的> results 2> errors都不会执行了。上面示例只是说明这样的语法是允许的。
可以使用()解决上面说的问题：
(sort < mydata) > results 2> errors

2）如需要将标准输出和标准错误重定向到同一个文件，语法如下：

command x> outputfile y>&x  # 覆盖
command x>> outputfile y>&x  # 追加

即：

command > outputfile 2>&1  
command >> outputfile 2>&1

命令command > outputfile 2>&1可以简化为command >& outputfile或command &> outputfile
同理，追加则是command >> outputfile 2>&1可以简化为command &>> outputfile，但不能用>>&

例：(该目录中a文件存在，b文件不存在，所以命令ls a b可以同时收到标准输出和标准错误)

[linux1@noseeu ~]$ ls
1  404.html  a  calendar  sh_test1
[linux1@noseeu ~]$ ls a b
ls: cannot access 'b': No such file or directory
a
[linux1@noseeu ~]$ ls a b >& output    # 将标准输出和标准错误重定向到同一个文件
[linux1@noseeu ~]$ cat output      # 查看该
ls: cannot access 'b': No such file or directory
a

5、抛弃输出

有时候我们运行一个程序，但是并不关心这个程序的的输出，或者不关心这个程序的错误消息。这时我们可以抛弃标准输出，或抛弃标准错误。

有这样的需求时，我们只需要重定向标准输出到一个特殊的文件就行：/dev/null。

在/dev/null文件中，一件重要的事情就是，发送给它的任何东西都会永远消失。

1）抛弃标准输出:

command > /dev/null

2）抛弃标准错误:

command 2> /dev/null

3）抛弃所有输出:

command > /dev/null 2>&1

6、小结

元字符	说明
<	重定向标准输入（同0<）
>	重定向标准输出（同1>）
>|	重定向标准输出，强制重写
>>	追加标准输出（同1>>）
2>	重定向标准错误
2>>	追加标准错误
2>&1	将标准错误重定向到标准输出
>&或&>	重定向标准输出+标准错误
&>>	追加标准输出+标准错误
|	将标准输出通过管道传送给另一条命令
2>&1 |	将标准输出+标准错误通过管道传送给另一条命令

三、管道

shell 允许创建一序列命令，在这一序列命令中，一个程序的标准输出可以自动地发送给下一个程序的标准输入。当这样做时，两个程序之间的连接就是管道，而序列命令本身称为管道线。创建管道线只需要用|(竖线)分隔开即可。

1、管道线使用：|

例：统计file1、file2文件里包含“good”单词的总行数

cat file1 file2 | grep good | wc -l

为了理解管道线，需要从左向右阅读命令行。每次看到管道符号时，可以认为一个程序的标准输出成为下一个程序的标准输入。

上一小节的总结中有一个语法是2>&1 |：将标准输出+标准错误通过管道传送给另一条命令
即：

command1 2>&1 | command2

如：

ls -l file1 file2 2>&1 | sort

创建管道线时，必须使用能够从标准输入读取文件，并向标准输出写入文本的程序。我们称这样的程序为过滤器。Unix中，许多程序都是过滤器，常用的如 less、grep、cat、diff、sort、wc、tee等。

注：
在使用管道线或者重定向标准I/O命令时，<、>或|两边可以不加空格，但不建议这样做。
使用空格可以使用键入错误的机率最小化，并且使命令容易阅读。

2、管道线分流：tee

tee 命令的作用就是从标准输入读取数据，并向标准输出和一个文件各发送一次数据。

read from standard input and write to standard output and files.
语法为：

tee [-a] file...

如：

cat file1 file2 file3 | tee backup | grep nosee

在上面例子中，可以分解为如下过程：
1）cat 将读取到 file1、file2 与 file3 的数据传送给 tee；
2）然后 tee 会将 cat 的输出保存一份到文件 backup 中，并且给 grep 也同时发送一份；
3）grep 读取收到的数据，并过滤出数据中包含nosee的行，然后输出到屏幕。

如果 tee 指定的文件不存在，那么 tee 命令会创建这个文件，如果存在则覆盖。如果想在文件末尾追加数据，则可以使用 -a(append,追加) 选项。

tee 常用模式还有：

command | tee file

如：

who | tee log.txt

实际上，管道线的实现是 Unix 设计准则提升的催化剂。在很大程度上，正是管道线和标准 I/O 使 Unix 的命令行界面功能如此强大。

3、扩展：条件执行 && 与 ||

有时候，希望在前一条命令成功执行的条件下执行另一条命令，实现语法为：

command1 && command2

有时候，希望在前一条命令没有成功执行的条件下执行另一条命令，实现语法为：

command1 || command2

以上就是所谓的条件执行。

条件执行主要在 shell 脚本中使用，但是有时候在命令行中使用也会比较方便。

参考：

书箱：《Unix & Linux 大学教程》第十五章 (美)Harley Hahn 著 张杰良 译