大数据

ambari2.7.3离线安装

2019-08-09  本文已影响13人  Moonpark98

部署Ambari2.7.3+HDP3.1.0+CentOS7

一、准备工作

1.1 Ambari版本介绍

  Ambari2.7.3支持HDP-3.1.0、HDP-3.0.1、HDP-3.0.0，本次安装我们选择HDP-3.1.0版本。

（注：Ambari各个版本对产品的支持可在Ambari版本支持界面查看）

Ambari版本支持

1.2 搭建环境准备

1.2.1 软件版本

组件 版本
操作系统 CentOS7
Ambari 2.7.3
HDP 3.1.0.0
MySQL 5.7
OracleJDK8 JDK1.8.0_144

1.2.2 软件下载

1.2.3 节点规划

Hostname IP 功能 内存 磁盘
node1 192.168.121.101 本地源+Ambari Server 4G 80G
node2 192.168.121.102 节点 4G 80G
node3 192.168.121.103 节点 4G 80G

二、搭建虚拟机

2.1 搭建node1虚拟机

2.2 配置node1

2.2.1 配置IP

#修改BOOTPROTO和ONBOOT
#修改BOOTPROTO
BOOTPROTO=static
IPADDR=192.168.121.101
NETMASK=225.225.225.0
GATEWAY=192.168.121.2
DNS1=114.114.114.114
DNS2=8.8.8.8
#修改ONBOOT
ONBOOT=yes
修改文件

2.2.2 关闭防火墙

2.2.3 设置Hostname

192.168.121.101 node1 node1
192.168.121.102 node2 node2
192.168.121.103 node3 node3
设置hosts

2.2.4 设置阿里开源镜像本地源

#进行备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
#下载新的CentOS-Base.repo
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#生成缓存
yum makecache
ali源设置

2.2.5 安装时间同步服务

2.2.6 安装、配置JDK8

cd ~
vi /etc/profile

在文件结尾添加JAVA路径

#JAVA
export JAVA_HOME=usr/java/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
配置java环境

2.2.7 关闭Selinux和THP以降低系统CPU的使用率

cat /sys/kernel/mm/transparent_hugepage/defrag
cat /sys/kernel/mm/transparent_hugepage/enabled

若结果为 [always] 则表示启动了THP

THP状态 
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
        echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
        echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
关闭thp
并赋予rc.local文件执行权限
chmod +x /etc/rc.d/rc.local 
cat /sys/kernel/mm/transparent_hugepage/defrag
cat /sys/kernel/mm/transparent_hugepage/enabled

若结果显示为 [never] 则表明关闭成功

关闭成功

2.2.8 最大打开文件设置

2.3 克隆虚拟机

2.3.1 修改镜像

关闭虚拟机node1，并在虚拟机设置中将镜像改为使用物理驱动器。


修改镜像

2.3.2 克隆node1

2.3.2 修改node2、node3的虚拟机mac地址

2.3.3 修改node2、node3的IP地址

#修改IPADDR属性值
IPADDR=192.168.121.102 #node3为192.168.121.103

-重启network
service networks start
并使用ifconfig命令查看IP是否正确修改

ip修改

2.3.4 修改虚拟机node2、node3的hostname

三、安装数据库及搭建本地源

3.1 在node1上安装数据库

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server
安装mysql 
systemctl enable mysqld.service

（注：MySQL默认需修改初始密码后才能对数据库进行操作）

mysql -u root -p

mysql>  set global validate_password_policy=0;
mysql>  set global validate_password_length=1;
mysql>  ALTER USER 'root'@'localhost' IDENTIFIED BY 'root123';
修改初始密码 
#在[mysqld]中添加
collation_server=utf8_general_ci
character_set_server=utf8
default-storage-engine=INNODB
#创建[client]并添加
[client]
default_character-set=utf8
配置MySQL编码格式为utf8

3.2 在MySQL数据库中创建相应的用户和数据库

mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=1;
mysql> create database ambari character set utf8;
mysql> CREATE USER 'ambari'@'%'IDENTIFIED BY 'ambari123';
mysql> GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%';
mysql> FLUSH PRIVILEGES;
创建ambari数据库 
mysql> create database hive character set utf8;
mysql> CREATE USER 'hive'@'%'IDENTIFIED BY 'hive123';
mysql> GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';
mysql> FLUSH PRIVILEGES;
创建hive数据库

（注：稍后会使用，没有该包则MySQL与ambari无法连接！）

yum install mysql-connector-java

3.3 设置免密登录

路径为C://Windows/System32/drivers/default_character
需要管理者权限才能修改，建议使用Notepad++进行修改

在文件末尾添加

192.168.121.101 node1
192.168.121.102 node2
192.168.121.103 node3
修改hosts文件 
[root@node1 ~]# ssh-keygen -t rsa #回车即可
[root@node1 ~]# ssh-copy-id node1
[root@node1 ~]# ssh-copy-id node2
[root@node1 ~]# ssh-copy-id node3

3.4 在node1上安装Ambari源

3.4.1 安装yum的相关工具

yum install yum-utils -y
yum repolist
yum install createrepo -y

3.4.2 安装Apache httpd

tar -zxvf ambari-2.7.3.0-centos7.tar.gz -C /var/www/html/ambari/
tar -zxvf HDP-3.1.0.0-centos7-rpm.tar.gz -C /var/www/html/hdp/
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.22/

systemctl start httpd
systemctl status httpd
systemctl enable httpd
启动httpd服务
若结果为active (running) 则表明启动成功

3.5 配置本地Repo并分发

#VERSION_NUMBER=3.1.0.0-78
[HDP-3.1.0.0]
name=HDP Version - HDP-3.1.0.0
baseurl=http://192.168.121.101/hdp/HDP/centos7
gpgcheck=1
gpgkey=http://192.168.121.101/hdp/HDP/centos7/3.1.0.0-78/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://192.168.121.101/hdp/HDP-UTILS-1.1.0.22
gpgcheck=1
gpgkey=http://192.168.121.101/hdp/HDP-UTILS-1.1.0.22/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
配置HDP 
scp ambari.repo HDP.repo node1:$PWD
scp ambari.repo HDP.repo node2:$PWD
scp ambari.repo HDP.repo node3:$PWD
分发repo

3.6 生成本地源

createrepo /var/www/html/hdp/HDP/centos7/
createrepo /var/www/html/hdp/HDP-UTILS-1.1.0.22/
生成本地源

四、安装ambari

4.1 在node1安装ambari-server

yum install ambari-sever

注：
1.选择JDK时选（2）自定义jdk，并填写jdk安装路径/usr/java/jdk1.8.0_144
2.Enter advanced databse configration[y/n]?时选择y,进入到数据库选择界面，在Enter choice后选择3，配置hostname为node1，使用默认端口，Database name为ambari，密码为ambari123

安装ambari-server

4.2 使用root登录MySQL

mysql -u root -p

mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=1;
mysql> GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'localhost' IDENTIFIED BY 'Ambari123';
mysql> GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%' IDENTIFIED BY 'Ambari123';
mysql> FLUSH PRIVILEGES;
使用root登录

4.3 使用ambar登录并查看数据库

mysql -u ambari -p -h node1
mysql>  show databases;
databases

使用ambari数据库，查看数据表

mysql>  use ambari;
mysql>  /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
mysql>  show tables;
tables

4.4 启动ambari-sever

ambari-server start

启动ambari-server

注：若启动失败需 先关闭服务ambari-server stop再重新启动

4.5 安装ambari-agent

五、访问Ambari web页面进行集群的安装

5.1 访问ambari web页面

5.2 安装集群

注：由于HDP-GPL很小，通常不需设置本地源

注：密钥文件需从node1下载，路径为/root/.ssh/id_rsa
推荐使用xftp进行传输


推荐使用xftp进行传输

注：此处可以只选择一个DataNode

分配从属
用户名 密码
admin admin123
hive hive123
N/A admin123
上一篇 下一篇

猜你喜欢

热点阅读