hadoop 分布式环境搭建

2018-04-29 本文已影响0人 Jason_M_Ho

准备

在 vmware 虚拟机中安装 Linux 系统
安装 vmware-tool 工具，可以增强桌面显示效果，还可以和宿主机用共享文件夹的方式传递文件
- 解压 vmware-tool.iso 文件，sudo ./vmware-install.pl 执行安装脚本即可
- 启用共享文件夹

搭建分布式系统需要多台虚拟机

创建用户组和用户
第一台虚拟机在关机状态下创建一个完整克隆，就有了两台虚拟机（有两台以上真机更好，这里只能虚拟几台了）

修改主机名

修改 /etc/hostname ，添加 jason
修改 /etc/hosts ，添加 192.168.1.200 jason， 192.168.1.201 jason2 (可以把ip设置成固定的)
修改第二台 /etc/hosts ，添加 192.168.1.200 jason， 192.168.1.201 jason2 （检测互相 ping 通）

SSH 无密码验证

sudo apt-get install openssh-server(如果是CentOS，就用sudo yum install openssh-server)，安装客户端
ssh-keygen -t rsa -P，生成公钥和私钥
查看路径/home/jason/.ssh文件里是否有id_rsa和id_rsa.pub
将公钥赋给 authorized_keys：cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
无密码登录：ssh localhost
在 jason 上执行：ssh-copy-id jason2，查看 jason2的/home/jason/.ssh文件里是否有authorized_keys
在 jason2 上执行相同的操作

安装 JDK

先卸载自带的 openjdk
- rpm -qa | grep jdk 找到系统自带的版本，
- yum -y remove ***** 卸载之，
在 /usr/local/ 目录下创建文件夹 jdk ，把要安装的jdk解压到这个目录下
配置环境变量 vim /etc/profile ，添加下面的配置
- export JAVA_HOME=/usr/local/jdk/jdk1.8.0_171
  export JRE_HOME=$JAVA_HOME/jre
  export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
  export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
  PS：可以把 bin 和 sbin 都配置在 PATH 中，方便以后使用；
- 执行命令，使配置生效：source /etc/profile；
- 执行命令：java -version，若出现java版本号，则说明安装成功

hadoop 集群安装

解压 hadoop-2.6.0.tar.gz 到 /home/jason/ 目录，把名字改成 hadoop，
配置环境变量 vim /etc/profile ，添加下面的配置
- export HADOOP_HOME=/home/jason/hadoop
  export PATH=$HADOOP_HOME/bin:$PATH
修改 hadoop 配置文件，在hadoop/etc/hadoop目录下，有 7 个:
- 1，配置 hadoop-env.sh 文件-->修改 JAVA_HOME
  - export JAVA_HOME=/usr/local/jdk/jdk1.8.0_71
- 2，配置 yarn-env.sh 文件-->修改 JAVA_HOME
  - export JAVA_HOME=/usr/local/jdk/jdk1.8.0_71
- 3，配置slaves文件-->>增加 slave 节点
  - 删除 localhost，增加jason jason2
- 4，配置 core-site.xml 文件-->>增加 hadoop 核心配置

<configuration>
<property>
     <name>fs.defaultFS</name>
     <value>hdfs://jason:9000</value>
</property>
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/home/jason/hadoop/tmp</value>
    <description>Abasefor other temporary directories.</description>
</property>
<property>
   <name>hadoop.native.lib</name>
   <value>true</value>
   <description>Should native hadoop libraries, if present, be used.</description>
</property> 
</configuration>

5，配置 hdfs-site.xml 文件-->>增加hdfs配置信息（namenode、datanode端口和目录位置）

<configuration>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>jason:9001</value>
</property>

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/jason/hadoop/dfs/name</value>
</property>

<property>
    <name>dfs.datanode.data.dir</name>
    <value> file:/home/jason/hadoop/dfs/data</value>
</property>

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
</configuration>

6，配置 mapred-site.xml 文件-->>增加mapreduce配置（使用yarn框架、jobhistory使用地址以及web地址）

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>jason:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value> jason:19888</value>
</property>
</configuration>

7，配置 yarn-site.xml 文件-->>增加yarn功能

<configuration>
 <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
 </property>
 <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <property>
      <name>yarn.resourcemanager.address</name>
      <value>jason:8032</value>
 </property>
 <property>
     <name>yarn.resourcemanager.scheduler.address</name>
     <value>jason:8030</value>
 </property>
 <property>
      <name>yarn.resourcemanager.resource-tracker.address</name>
      <value>jason:8035</value>
 </property>
  <property>
      <name>yarn.resourcemanager.admin.address</name>
      <value>jason:8033</value>
 </property>
 <property>
      <name>yarn.resourcemanager.webapp.address</name>
      <value>jason:8088</value>
 </property>

</configuration>

8，将配置好的 jason 中/hadoop/etc/hadoop文件夹复制到到 jason2 对应位置（删除 jason2 原来的文件夹/hadoop/etc/hadoop）
在 jason 中执行拷贝命令： scp -r /home/jason/hadoop/etc/hadoop/ jason@jason2:/home/jason/hadoop/etc/

验证安装

格式化 namenode
- 执行 ./bin/hdfs namenode -format 出现“successfully formatted”就表示成功了
启动 hdfs
- 执行 ./sbin/start-dfs.sh
查看 java 进程
- 执行 jps
停止 hdfs
- 执行 ./sbin/stop-dfs.sh
启动 yarn
- 执行 ./sbin/start-yarn.sh
查看 java 进程
- 执行 jps
停止 yarn
- 执行 ./sbin/stop-yarn.sh
查看集群状态
- 启动：./sbin/start-dfs.sh
- 查看：./bin/hdfs dfsadmin -report
查看hdfs： http://jason:50070/
查看yarn： http://jason:8088/

运行 wordcount 程序

wordcount 程序由 hadoop 提供，位于share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar内。

创建 file目录
在 file 中创建 file1.txt、file2.txt 并写内容：
file1.txt输入内容：Hello world hi HADOOP
file2.txt输入内容：Hello hadoop hi CHINA
在 hdfs 创建 /input2 目录： ./bin/hadoop fs -mkdir /input2
将file1.txt、file2.txt文件 copy 到 hdfs /input2 目录：./bin/hadoop fs -put file/file*.txt /input2
查看hdfs上是否有file1.txt、file2.txt文件：hadoop fs -ls /input2/
执行 wordcount 程序
- 先启动 hdfs 和 yarn
- 执行程序：./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input2/ /output2/wordcount1
查看运行结果：/bin/hdfs dfs -cat /output2/wordcount1/*

hadoop 分布式环境搭建

准备

搭建分布式系统需要多台虚拟机

修改主机名

SSH 无密码验证

安装 JDK

hadoop 集群安装

验证安装

运行 wordcount 程序

猜你喜欢

热点阅读