hadoop集群配置-总结
2019-08-28 本文已影响0人
chia奇亚币
[TOC]
hadoop 集群
hadoop3.2 分为 单点，集群 ，伪集群
hadoop 配置
hadoop /etc/hadoop/ 下的xml 配置
环境变量的配置
hadoop 安全模式
用户可以通过 hdfs dfsadmin -safemode value 来操作安全模式，参数value的说明如下：
-
enter - 进入安全模式
-
leave - 强制NameNode离开安全模式
-
get - 返回安全模式是否开启的信息
-
wait - 等待，一直到安全模式结束。
hadoop datanode
在3.2中 hdfs namenode -format 后，启动start-all.sh 用jps 查看没有 datanode ,需要使用
hdfs 命令 hdfs datanode 启动
hadoop 3.2 页面访问
-
http://<localhost>:8088
-
http://<localhost>:9870
hadoop 2.7
-
http://<localhost>:50070
-
http://<localhost>:9870
同步时间
apt-get install ntp
ntpdate 192.168.1.159
启动
-
在regionServer上 ./hbase-daemon.sh start regionserver
-
在master上执行 ./bin/hbase-daemon.sh start master
-
hdfs datanode
hadoop 单节点启动 yarn NodeManageer (处理wordcount)
1.单个节点操作
-
启动|停止单个节点
hdfs --daemon start|stop datanode hdfs --daemon start|stop namenode -
启动|停止单个节点的NodeManageer
yarn --daemon start nodemanager yarn --daemon stop nodemanager
-
启动|停止ResourceManager
yarn --daemon start resourcemanager yarn --daemon stop resourcemanager
2.集群操作
start|stop-dfs.sh 在master上使用,否则只会停掉该台机器的datanode(namenode)
start|stop-yarn.sh(会停掉ResourceManager与NodeManager)在配置ResourceManager的机器上使用,否则只会停止该台机器上的NodeManager
start|stop-all.sh(不建议对集群使用)
wordcount
1.yarn-site.xml mapred-site.xml 内存修改
2.启动 NodeManageer resourcemanager
37开 - 原创文章(已经在多平台发表)，转载请标明出处
