大文件切割

2019-12-31  本文已影响0人  国王12

需求:

一个特别大的文件进行group,且group多次,比较浪费时间,所以 将这个大文件切割为多个小文件,可以同时group(需要多核CPU同时工作)

定义:

大文件 :text.txt
命令:     split (一般系统都有)

注意:

此命令是按行切割,即需要提前定义需要将多少行分为一个文件

做法:

首先wc -l 查看这个大文件有多少行  比如有  一万行
那么我现在把他分为10个文件来说
一个文件就是一千行

那么命令就是: (源文件依然存在且不少数据)

split -l 1000 text.txt -d -a 4 ceshi_

命令详解:

-l  指定一个文件有多少行 (1000行)
text.txt  被分割的原文件名
-d  生成的文件以数字命名 (默认为英文,按照英文字母排序,不直观)
-a 生成的新文件名除了自定的前缀以外,生成 几位(4位)
ceshi_   这个自定义生成文件的前缀

实际举例:

[root@xor-vhreport android]# wc -l 1.txt 
40 1.txt
文件有40行
split -l 10 1.txt -d -a 4 text_
将这个文件10行分割为一个文件
以4位数字结尾
前缀位text_
[root@xor-vhreport android]# ls
1.txt  text_0000  text_0001  text_0002  text_0003
执行完毕之后就可以看到,被分为了四个 文件 
源文件没有被任何破坏和少数据
上一篇 下一篇

猜你喜欢

热点阅读