Spark02 yarn运行
2020-05-17 本文已影响0人
山高月更阔
需要启动 hadoop
# 进入hadoop安装目录
cd $HADOOP_HOME
#执行命令
./sbin/start-all.sh
可以查看start-all.sh 脚本 启动hadoop yarn 和 hdfs
提交yarn
spark-submit master yarn xxx.jar
如果出现 hdfs没有写入权限 可以设置hadoop 离开安全模式
离开安全模式
bin/hadoop dfsadmin -safemode leave