Spark write parquet不写入任何文件,只有成功

2020-10-15  本文已影响0人  羋学僧

Spark write parquet不写入任何文件,只有成功

应用程序包括
在集群spark bigda02机器上执行

userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result1015")

userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result1513")

userDF.select($"name",$"favorite_color").write.format("csv").save("/home/bigdata/data/result0927")

userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result15")

userDF.select($"name",$"favorite_color").write.format("csv").save("/home/bigdata/data/result1122")

在bigda02机器上,只将创建目录,除了一个空的_SUCCESS文件外,没有其他内容

在我的例子中,当我试图将一个文件保存到我的本地文件系统,而不是从Spark集群访问的文件系统时,就会发生这种情况。
该文件是由Spark worker节点而不是Spark客户机写入的,因此它应该被输出到工作节点和客户机都可以访问的文件系统
在bigda04机器上找到


上一篇下一篇

猜你喜欢

热点阅读