Ambari2.6.2 和HDP2.6.5搭建Hadoop集群-

2019-06-20 本文已影响0人 wk86

前言

由于测试使用，身边又无过多服务器资源。仅有几台凑合可以使用的台式PC拿来构建一个HDP的hadoop集群。下面为裸机安装过程，本次选择了CentOS7.5系统进行系统安装。（如何制作CentOS U盘启动安装盘请自行百度……）

1.系统下载

目前 CentOS7.5最为稳定
国内镜像-->> CentOS-7-x86_64-DVD-1804.iso

2.系统安装

2.1调整网卡名称

安装CentOS7.5唯一需要上心操作的地方：在如下界面停住

image.png

按TAB键，按一下空格，添加net.ifnames=0，如下图红色部分所示所示

image.png

这里的net.ifnames=0是网卡命名规则，CentOS6与CentOS7默认的网卡命名规则如下:

CentOS6  
net.ifnames=0  
biosdevname=1  
CentOS7  
net.ifnames=1  
biosdevname=1

也就是说一共有三种命名规则，默认，net.ifnames和biosdevname，其中biosdevname这种
规则只适用与戴尔服务器，是根据戴尔服务器BIOS来命名网卡名称的，对与一般机器其开启(1)
还是关闭(0)，对网卡名称无影响。net.ifnames命名规则比较复杂，会根据机器的各种参数生成
网卡名称，在CentOS7中通常是ensxxxxx。

因此我们可以看到在CentOS7中net.ifnames默认是开启的，如果我们不给它手动关闭
net.ifnames=0，就会导致我们装完系统网卡名称是ensxxx这种，关闭之后采用系统就采用
默认的网卡命名规则，也就是固定eth0, eth1这种形式，便于我们后续管理。

编辑完毕之后，按一下回车，此时系统会自动加载到语言选择界面，期间不要再按其它按键，接着
按下面的图走。

2.2配置时区，分区，关闭安全工具

3.系统分区

Hadoop集群使用
/swap /boot / /data 即可

更简单的分区方式为 /swap /boot / 即可

/swap 8G
作用：类似于Windows的虚拟内存，在内存不够用时占用硬盘的虚拟内存来进行临时数据的存放，而对于linux就是swap分区
分区建议：建议是物理内存大小的2倍，比如你电脑是4G的物理内存，swap分区可以是8G,内存小于4G的为内存的2倍;内存大于4G的和内存大小一致即可
分区格式：swap格式
/boot目录 200M
作用：系统启动分区一般200~500Mb
分区格式：ext4
/根目录 200G
分区格式：ext4
/data分区剩余空间
作用：数据分区
分区格式：ext4

此处均使用了标准分区，使用LVM需要根据硬件配置、业务需求来决定

4.网络配置

参考 https://www.jb51.net/os/503770_all.html

进入系统后，默认未开启网口

1.ip地址配置
vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=none

IPV6INIT=no

ONBOOT=yes
IPADDR=192.168.12.195
NETMASK=255.255.254.0
GATEWAY=192.168.12.1
DNS1=221.228.255.1
DNS2=112.4.0.55
USERCTL=no
NM_CONTROLLED=yes

2.配置DNS
vi /etc/resolv.conf

nameserver 221.228.255.1
nameserver 112.4.0.55

CentOS7 查看IP、Gateway、DNS、Hostname

1.查看IP

ip addr

2.查看路由

ip route

3.查看DNS

cat /etc/resolv.conf

4.查看主机名称

hostname

5.网络分配

主机名称	IP	MAC
node1	192.168.12.191	1c:1b:0d:f9:02:70
node2	192.168.12.192	1c:1b:0d:f7:e4:ae
node3	192.168.12.193	b8:97:5a:b2:94:7b
node4	192.168.12.194	b8:97:5a:ac:d4:ea
node5	192.168.12.195	d0:17:c2:86:1b:0a

Linux查看机器的配置信息

查看内存信息

cat /proc/meminfo

核心数计算说明

总核数 = 物理CPU个数 X 每颗物理CPU的核数
总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数

查看物理CPU个数

cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

查看每个物理CPU中core的个数(即核数)

cat /proc/cpuinfo| grep "cpu cores"| uniq

查看逻辑CPU的个数

cat /proc/cpuinfo| grep "processor"| wc -l

查看CPU信息（型号）

查看CPU信息（型号

cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c