Spark和HDFS的整合
2018-07-06 本文已影响0人
扣篮的左手
在spark-env.sh ,添加HADOOP_CONF_DIR配置,指明了hadoop的配置文件后,默认它就是使用的hdfs上的文件
将配置好的
spark-env.sh
发送到node-2和node-3上,$PWD指代和node-1相同的当前目录在spark-env.sh ,添加HADOOP_CONF_DIR配置,指明了hadoop的配置文件后,默认它就是使用的hdfs上的文件
spark-env.sh
发送到node-2和node-3上,$PWD指代和node-1相同的当前目录