大数据Hadoop

一:Hadoop初始化环境搭建-1

2018-06-26  本文已影响24人  小葱_拌豆腐

一:虚拟机和Linux的安装

在搭建Hadoop集群环境之前,我们必须要进行如下的准备工作:

01.安装虚拟机

02.安装3台Linux

03.修改主机名和IP地址对应关系

04.SSH免密码登陆


1.1:虚拟机的安装步骤

        VMware的安装版本是12,大家可以直接百度,下载需要的虚拟机!

 这里虚拟机的内存,也可以使用推荐设置!(如果真机内存够用,可以设置高点)

 这里的声卡和打印机也可以不删除。(强迫症,目前没用的组件删除,不影响我们后续操作)

1.2:LInux安装步骤

 之后点击开始安装,等待。。。。。

二:NAT网络设置

  简单介绍下网络设置的不同:

桥接网络: 虚拟机使用本地网络,和本机ip值 相同!

仅主机:只能和本机进行通讯,无法上网!

NAT:即可以上网,也可以和本机进行通讯!

2.1:本机设置

右键点击网络,选择打开网络和共享中心 找到VMnet8 选择属性 配置真机(windows)中的ip映射

2.2:虚拟机设置


选择虚拟机中的网络设置



点击修改


配置虚拟机中的ip映射


2.3:在真机(windows)中设置网络共享



如果是WIFI就选择WIFI即可


这样,我们的虚拟机就可以连接网络了


三:可能出现的问题

线缆被拔出的解决方案


四:开机自启动网络连接


切换到指定的目录

 cd  /etc/sysconfig/network-scripts/

找到选中的文件 修改onboot为yes即可

五:克隆子机器

  我们最终的hadoop分布式环境是1个master,2个slave。所以还需要把刚才创建的机器,克隆两份!


 5.1:关闭克隆的机器


 5.2:克隆机器









创建完整克隆 



文件名称和位置,自拟,建议和之后的主机名一致

 5.3:安装上诉步骤再克隆slave2机器

六:修改3台虚拟机的IP地址和主机名称

  因为我们的第一台虚拟机的IP已经设置,所以只需要修改克隆的两台机器即可!

6.1:修改slave1的IP地址 

        192.168.27.3

6.2:修改slave2的IP地址

 192.168.27.4

6.3:修改3台虚拟机的ip地址和主机名称的对应关系

1:修改3台电脑的主机名

使用XShell 连接3台虚拟机

修改主机名

hostnamectl  --static set-hostname 主机名

修改master机器 修改slave1机器 修改slave2机器

2:修改3台电脑的主机名和IP地址对应关系

在每台电脑上运行:vim  /etc/hosts  

在文件中都增加:

192.168.27.2  master

192.168.27.3  slave1

192.168.27.4  slave2

七:设置SSH免密码登陆


7.1:生成.ssh文件

在每台电脑中使用ssh命令,让每台电脑中的~目录下生成.ssh文件!

 在master机器上运行  ssh  slave1

在slave1机器上运行  ssh  master

在slave2机器上运行  ssh  master


7.2:master机器上生成密钥


在master机器上生成密钥运行:ssh-keygen -t rsa

7.3:复制密钥


把master机器生成的id_rsa.pub复制到另外两个

子机器中,重命名为authorized_keys

id_rsa.pub的路径在 ~/.ssh/文件夹下面!

 scp id_rsa.pub root@slave1:~/.ssh/authorized_keys

 scp id_rsa.pub root@slave2:~/.ssh/authorized_keys

slave1和slave2分别是另外两台子机器的主机名!

7.4:修改权限

在两个子机器中把authorized_keys

文件的权限改为600

 chmod 600 authorized_keys

7.5:追加授权


在master节点使用下面命令

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys(把id_rsa.pub追加到授权的key里面去)

7.6:修改配置文件

所有机器上使用下面命令

vim /etc/ssh/sshd_config(修改SSH配置文件"/etc/ssh/sshd_config")

RSAAuthentication yes #启用 RSA 认证

PubkeyAuthentication yes #启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)

八:关闭防火墙


firewall-cmd --state                                    查询防火墙状态

systemctl  stop firewalld.service                   关闭防火墙

systemctl  start firewalld.service                    开启防火墙

systemctl  disable firewalld.service              禁止开启启动防火墙

三台Linux电脑的防火墙都需要关闭!本机(windows)防火墙也需要关闭!

上一篇下一篇

猜你喜欢

热点阅读