生信相关Linux小推车Shell程序编写

常用命令: sort学习笔记

2019-03-01  本文已影响21人  xuzhougeng

本文的sort命令是GNU版本(8.22), 和BSD的sort不同

sort是我最常用Linux命令之一,它的功能就是排序,一般后面还会和uniq搭配,对数据进行去重。

下面的操作假设你有一个文件,叫做chr.txt, 内容如下, 不同列之间用制表符分隔

Chr3    20251812    20254323    +
Chr1    471971  473336  -
Chr3    21701520    21703114    +
Chr3    18709613    18710836    +
Chr5    25645209    25646845    -
Chr1    3055231 3056997 -
Chr1    28881539    28885023    +

最简单的用法就是只给一个文件作为输入,默认就是从左到右逐个字符的进行比较,

$ sort chr.txt
Chr1    28881539    28885023    +
Chr1    3055231 3056997 -
Chr1    471971  473336  -
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -

默认是从小到大,也可以用-r, --reverse实现从大到小进行排序

$ sort -r chr.txt
Chr5    25645209    25646845    -
Chr3    21701520    21703114    +
Chr3    20251812    20254323    +
Chr3    18709613    18710836    +
Chr1    471971  473336  -
Chr1    3055231 3056997 -
Chr1    28881539    28885023    +

如果你想指定某一列进行排序,需要用到参数-k, --key=KEYDEF, 其中KEYDEF就是你指定的列

$ sort -k2 chr.txt 
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -
Chr1    28881539    28885023    +
Chr1    3055231 3056997 -
Chr1    471971  473336  -

你会发现一个不对劲的情况,为啥28881539会比3055231小?因为默认情况下,sort将数字当做字符处理,从左到右,逐个比较字符,在第一个数字上,2是比3小,因此28881539在前3055231在后。如果你需要按照数值大小进行排序,那么就需要一个额外参数-n,--numeric-sort

$ sort -nk2 chr.txt
Chr1    471971  473336  -
Chr1    3055231 3056997 -
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -
Chr1    28881539    28885023    +

那能不能先根据第一列然后根据第二列排序呢?

$ sort  -k1,1 -k2,2n chr.txt
Chr1    471971  473336  -
Chr1    3055231 3056997 -
Chr1    28881539    28885023    +
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -

你可能对这里面-k1,1 -k2,2n感觉特别的奇怪,这是因为我还没有说明KEYDEF到底是什么

KEYDEF的定义是 F[.C][OPTS][,F][.C][OPTS]]。这里[]就是可填可不填的意思,例如一开始的k2就是只填了第一个F。F表示filed, 也就是列,这里一共有两个F,分别用于排序键值的起始位置列和结束位置列。举个例子

$ sort -k1,2 chr.txt 
Chr1    28881539    28885023    +
Chr1    3055231 3056997 -
Chr1    471971  473336  -
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -

效果就是将第一列和第二列进行合并,然后从左到右进行逐个比较。

.C适用于Chr23Chr2这种字符和数字混合的情况,我们希望Chr2 < Chr23,但是默认是Chr23 > Chr2. .C表示从第C个位置开始,当做数字处理

$ cat test.txt 
Chr1
Chr23
Chr2
$ sort -k1.4 test.txt
Chr1
Chr2
Chr23

最后OPTS表示该列的排序类型,可选项是 [bdfgiMhnRrV], 我比较常用的就是n和r。

那么-k1,1 -k2,2n就很好理解了, 就是先按照第一列排序,然后按照第二列排序,其中第二列是数值型数据。

除了按数字排序,sort还支持按照月份缩写-M,--month-sort, 例如'JAN'<'DEC', 人类可读数值-h,--human-numeric-sort, 例如 2K < 1G。

如果你的输入内容是 0.04,1,123,1e-10,3.23 这种数字记录类型,sort也提供-g,--general-numeric-sort,对其排序

$ sort numbers.txt 
0.04
1
123
1e-10
3.23
$ sort -g numbers.txt
1e-10
0.04
1
3.23
123

还有一个和软件版本开发相关的排序-V, --version-sort。你是不是觉得1.21 的版本比 1.3新。然而在软件开发领域,1.3 比1.21新

$ sort -V version.txt 
1.3
1.21

其他你可能会用得到的参数

上一篇 下一篇

猜你喜欢

热点阅读