大数据之环境搭建

配置环境: centos 7.6 jdk version:1.8.0_171 hadoop version:2.9.2 主机1名称:hadoop101
端口号测试连通命令: nc -vz -w 2 172.16.9.101 50070 注:需关闭远程主机防火墙  

一、 jdk与hadoop环境搭建

1、将jdk与hadoop解压至/opt/module目录下,module为自定义文件夹
2、在/etc/profile文件末尾添加如下配置       
##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
##HaDOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profile  使其生效
3、检查是否安装成功命令jdk version、hadoop

二、伪分布模式配置

1、配置java_home环境变量

 etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_171

2、etc/hadoop/core-site.xml:

<configuration>

<!--指定HDFS中NameNode的地址-->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop101:9000</value>

</property>

<!--指定hadoop运行时产生文件的存储目录-->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop-2.9.2/data/tmp</value>

</property>

</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>

<!--配置副本数，默认为3-->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

三、启动hdfs

1、bin/hdfs namenode -format  第一次可格式化数据，慎用

sbin/hadoop-daemon.sh start namenode  启动namenode

sbin/hadoop-daemon.sh start datanode  启动datanode

2、使用hdfs命令范例： 可在hadoop101:50070查看

bin/hdfs dfs + 执行命令

创建目录

bin/hdfs dfs -mkdir -p /user/linan/input

上传本地文件至hdfs

bin/hdfs dfs -put wcinput/wc.input /user/linan/input/

四、启动yarn

1、配置

1. etc/hadoop/yarn-env.sh 、 mapred-env.sh:export JAVA_HOME=/opt/module/jdk1.8.0_171

etc/hadoop文件夹下重命名: mv mapred-site.xml.template  mapred-site.xml       
2.    etc/hadoop/yarn-site.xml:

<!-- reducer 获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!-- 指定yarn的resourceManager的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop101</value>

</property>

3. etc/hadoop/mapred-site.xml:

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<!-- 历史服务器地址-->

<property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop101:10020</value>

</property>

<!-- 历史web服务器地址-->

<property>

<name>mapreduce.jobhistory.webapp.address</name><value>hadoop101:19888</value>

</property>

2、启动

启动resourcemanager

sbin/yarn-daemon.sh start resourcemanager

启动nodemanager

sbin/yarn-daemon.sh start nodemanager

启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

五、配置日志聚集

开启日志聚集功能需重启nodemanager、resourcemanager、historyserver

1、配置etc/hadoop/yarn-site.xml:

<!-- 开启-->

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!-- 日志保留1周-->

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>604800</value>

</property>