【大数据】Spark 递归读取 HDFS

2021-09-08  本文已影响0人  焰火青春

HDFS 若有子目录,Spark 是不能递归读取子目录,需要在 spark-submit 中配置以下参数:

-- conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true\
-- conf spark.hive.mapred.supports.subdirectories=true```
上一篇下一篇

猜你喜欢

热点阅读