分割文件和断点续传下载服务器大文件
2019-08-01 本文已影响0人
秦时的明月夜
项目部署时候经常会上传下载一些大文件,我就经常会上传下载oracle
dump
文件,dump
文件还非常大,动不动就10
几个G
,偶尔会遇到网络不好的情况,下载到一般就又要重新下。
分割文件的方式
将服务器的大文件使用split
命令分割成多个小文件下载。
split -C 1G 2019-07-23.dump 0723_
然后使用scp
(多开几个线程分批下载) 下载到本地
scp -r "root@host:/opt/oracle/0723_*" ~/Desktop/
再使用cat
命令将下载下来的文件合并
cat 0723_*>2019-07-23.dump
命令说明
split:
(1) 按行数分割
split -l 300 large_file.txt new_file_prefix
(2) 按字节大小分割
split -b 10m large_file.log new_file_prefix
(3)按文件大小分割文件时,在切割时将尽量维持每行的完整性
split -C 1G large_file.txt new_file_prefix
断点续传
rsync -P --rsh=ssh root@host:/opt/oracle/2019-05-30.dmp ./
#中止了再次执行
rsync -P --rsh=ssh root@host:/opt/oracle/2019-05-30.dmp ./ --append
ctrl+z
后天执行 fg
命令 回到前台
为了使用方便可以设置alias:
alias rscp="rsync -P --rsh=ssh"
rscp root@host:/opt/oracle/2019-05-30.dmp ./ --append