大数据||Hadoop分布式部署虚拟机
2018-02-14 本文已影响59人
明明德撩码
分布式部署
- 伪分布式。一台机器运行所有的守护进程,从节点datanode、nodemanager
- 完成分布式。
有多个从节点。
datanodes、nodeManager。多节点其实就是多了几个datanode和nodemanager。
如何配置多个节点?
在配置文件$Hadoop/etc/hadoop/slaves中添加节点。
0、停掉 hdfs和yarn的服务
1、设置固定ip并重连


机器规划

克隆虚拟机方式1

克隆虚拟机方式2
复制hadoop-senior2重新命名为hadoop-senior3

在VMware Workstation中打开hadoop-senior3

修改mac地址
命令![]()
在虚拟机中自动生成mac地址

修改自动生成的eth1 删除eth0

修改mac地址并reboot
命令image.png
![]()
修改第二台虚拟机的mac及ip
mac

修改自动生成的eth1 删除eth0

修改ip

修改mac文件并重启服务


修改主机名
命令:vi /etc/sysconfig/network

配置ip与主机域名映射
说明:在集群环境中ip会发生变化,所以使用域名来代替ip地址,这样程序不需要改变。因为程序里面配置的是域名。
命令:vi /etc/hosts
![]()
测试
命令: ping hadoop-senior02.beifeng.com
![]()
创建集群文件夹
mkdir /opt/app