awk文本去重

http://www.letuknowit.com/topics/20120401/use-awk-remove-duplicate-lines.html/

还可以通过awk '{output[$0] = 1}END{for(key in output) print key}'去重，这个是利用了awk数组下标不能重复的原理