Spark write parquet不写入任何文件,只有成功
2020-10-15 本文已影响0人
羋学僧
Spark write parquet不写入任何文件,只有成功
应用程序包括
在集群spark bigda02机器上执行
userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result1015")
userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result1513")
userDF.select($"name",$"favorite_color").write.format("csv").save("/home/bigdata/data/result0927")
userDF.select($"name",$"favorite_color").write.save("/home/bigdata/data/result15")
userDF.select($"name",$"favorite_color").write.format("csv").save("/home/bigdata/data/result1122")
在bigda02机器上,只将创建目录,除了一个空的_SUCCESS
文件外,没有其他内容
在我的例子中,当我试图将一个文件保存到我的本地
文件系统,而不是从Spark集群访问的文件系统时,就会发生这种情况。
该文件是由Spark worker节点而不是Spark客户机写入的,因此它应该被输出到工作节点和客户机都可以访问的文件系统
在bigda04机器上找到