1.简单集群规划
2018-01-26 本文已影响0人
猫头木有鹰
1.集群规划
规划.png
2.集群搭建步骤：
1.linux集群环境准备
-
三节点(Centos6.9x64) 配置NAT网络制式
(注：绝大多数情况第一步就能够解决问题，图例只说明配置方式，具体网段使用可能会有改变)
①.切换NAT模式,创建自定义子网
nat.jpeg
②.虚拟机配置NAT模式下创建的子网
nat2.jpeg
③.windows VMnet8 适配器重启,适配NAT自定义的子网
nat3.jpeg
-
修改ip(克隆机mac地址冲突解决)；
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0 // 网卡
TYPE=Ethernet
UUID=05392599-a739-4d03-8453-4747d559204b // 网络节点标识
ONBOOT=yes // 开机启动网卡
NM_CONTROLLED=yes // 运行非root用户控制
PREFIX=24
BOOTPROTO=static // 静态
HWADDR=00:0c:29:02:23:f4 // mac地址
IPADDR=192.168.1.104 // ip
NETMASK=255.255.255.0 // 子网掩码
GATEWAY=192.168.1.2 // 网关
DNS1=192.168.1.2 // 域名解析服务器
DNS2=223.5.5.5
DEFROUTE=yes
IPV6INIT=no // 关闭ipv6
注：对应克隆机存在mac冲突问题，手动生成新mac地址，然后替换即可；
mac.jpeg
vim /etc/sysconfig/network-scripts/ifcfg-eth0 修改HWADDR, 重启生效
- 修改hosts、hostname;
vim /etc/hosts
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
vim /etc/sysconfig/network
HOSTNAME=hadoop10X
- 创建普通用户admin，并开放sudo权限；
useradd admin
passwd admin （密钥）
vim /etc/sudoers
root ALL=(ALL) ALL
admin ALL=(ALL) NOPASSWD:ALL
- 配置admin用户ssh免密登录（普通用户操作）；
su - admin
ssh-keygen -t rsa
ssh-copy-id -i admin@hadoop10X (SecureCRT Select All Session)
ssh hadoop10X (免密切换测试) - 关闭防火墙与Selinux
service iptables stop
chkconfig iptables off
vim /etc/sysconfig/selinux
SELINUX=disabled
- 配置集群内网NTP(时间同步服务)；
方案1：快速同步集群时间
service ntpd stop # 停止所有节点的ntpd服务
ntpd hadoop104 # hadoop102~3 都手动向hadoop104同步时间
service ntpd start # 重启ntpd 时间同步服务
clock --systohc # 系统时钟同步给硬件时钟
方案2：配置集群内网时间同步服务
详见 1.1 ntp 集群时间同步服务
ntp.jpeg
- 优化yum源，改为国内镜像；
详见： 1.2 yum仓库
2.源码编译hadoop2.7.2-src,添加lzo,snappy压缩模块;
详见： 1.3 hadoop-2.7.2-src源码编译(snappy)
3.简单集群搭建(hadoop102上普通用户admin)
详见： 1.4 集群搭建
- mr案例演示
4.高可用集群搭建
- hdfs 高可用
- yarn 高可用
