大数据,机器学习,人工智能大数据大数据&云计算

Spark02 yarn运行

2020-05-17  本文已影响0人  山高月更阔

需要启动 hadoop

# 进入hadoop安装目录
cd $HADOOP_HOME
#执行命令
./sbin/start-all.sh 

可以查看start-all.sh 脚本 启动hadoop yarn 和 hdfs

提交yarn

spark-submit master yarn xxx.jar

如果出现 hdfs没有写入权限 可以设置hadoop 离开安全模式

离开安全模式

 bin/hadoop  dfsadmin -safemode leave
上一篇 下一篇

猜你喜欢

热点阅读