HDFS中两个集群数据文件拷贝的方式
2020-07-11 本文已影响0人
Yobhel
- 在不同的两个HDFS集群中拷贝数据,我们可以使用distcp,集群之间拷贝数据的正确姿势是:
hadoop distcp hdfs://master1:9999/foo/bar hdfs://master2:9999/bar/foo
上面的意思是将集群master1上的文件foo/bar
拷贝到master2集群上的bar/foo
目录下
hadoop distcp hdfs://master1:9999/foo/a hdfs://master1:9999/foo/b hdfs://master2:9999/bar/foo
上面的意思是将master1集群上的两个文件foo/a
和foo/b
拷贝到master2集群上的文件bar/foo
中去