【大数据】Spark 递归读取 HDFS
2021-09-08 本文已影响0人
焰火青春
HDFS 若有子目录,Spark 是不能递归读取子目录,需要在 spark-submit 中配置以下参数:
-- conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true\
-- conf spark.hive.mapred.supports.subdirectories=true```
HDFS 若有子目录,Spark 是不能递归读取子目录,需要在 spark-submit 中配置以下参数:
-- conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true\
-- conf spark.hive.mapred.supports.subdirectories=true```