2020-12-11查重的脚本
2020-12-11 本文已影响0人
linuxScripter
cat 1 | sed 's/\(.\)/\1\n/g' | wc -l | sed's/$/-3/g' | bc | xargs -i seq {} | xargs -i bash -c "sed -n '{},+2p'<(cat 1 | sed 's/\(.\)/\1\n/g') | tr '\n' '@' | sed 's/@//g'; echo " > 1.ok
cat 2 | sed 's/\(.\)/\1\n/g' | wc -l | sed's/$/-3/g' | bc | xargs -i seq {} | xargs -i bash -c "sed -n '{},+2p'<(cat 2 | sed 's/\(.\)/\1\n/g') | tr '\n' '@' | sed 's/@//g'; echo " > 2.ok
#开始比较1.ok和2.ok，即可
cat 1.ok | xargs -i sed 's/^/{} /g' 2.ok | grep "^\(.*\) \1"
可以找到3个连续的字符块，的重复数。
