最简洁最详细的Spark自动删除输出文件夹的代码实现!!!

2019-11-30  本文已影响0人  bin丶
/* 1.spark中需要的输出路径是String,Path只是为了创建出来获取FileSystem
   2.new Path() 括号里面可以传字符串或者 args(index)
*/
val output = new Path(args(1))
// 3. 虽然没有进行是否存在的判断,但是文件不存在时也没有什么影响(亲测)
output.getFileSystem(sc.hadoopConfiguration).delete(output,true)
上一篇下一篇

猜你喜欢

热点阅读