Ambari集群搭建demo

2018-08-30  本文已影响0人  renwujie

三台主机模仿集群

主机名和ip设置

软件准备

1.Vmware10

2.Centos7

3.jdk8

4.ambari-2.6.0.0-centos7.tar.gz

5.HDP-2.6.3.0-centos7-rpm.tar.gz

6.HDP-UTILS-1.1.0.21-centos7.tar.gz

7.mysql-connector-java-5.1.44-bin.jar

Linux基础环境

1.配置hostname配置。

2.配置network。

3.配置hosts映射。

hosts映射修改

4.关闭防火墙   (三台机子都执行)。

关闭防火墙

5.禁用selinux(三台机子都执行)。

6.修改umask值为0022(三台都执行)。

umask值修改

7.ulimit限制资源修改(三台都执行)。

8.配置集群时间同步

9.配置集群SSH免密登录

10.httpd安装(只在n1上执行)。

11.安装MySQL(只在n1上执行)。

12.jdk安装(三台都安装)。

配置ambari源

1.将ambari、hdp和hdp-utils文件解压并放在/var/www/html/目录中(空间不够的话可以创建软链接)。然后在浏览器中访问(如果不能访问,请检查httpd服务是否开启,并设置了开机启动)。

测试访问

2.将ambari.repo和hdp.repo拷贝到/etc/yum.repo.d/目录中。并修改baseurl(模仿原先的配置修改到相应目录就可以了)。

vi /etc/yum.repo.d/ambari.repo

vi /etc/yum.repo.d/hdp.repo

3.将ambari.repo和hdp.repo拷贝到集群其他节点的/etc/yum.repo.d/目录下。

ambari-server安装

在n1节点上安装ambari-server。

yum install ambari-server -y

配置ambari元数据

安装ambari-server后就可以配置了,但是配置之前有需要配置ambari的元数据存储。这里是以MySQL作为ambari的元素据存储。首先创建ambari元数据用户并赋予权限。

mysql -u root -p

CREATEUSER 'ambari'@'localhost' IDENTIFIED BY 'ambari'; 

GRANTALL PRIVILEGES ON *.* TO 'ambari'@'localhost'; 

CREATEUSER 'ambari'@'%' IDENTIFIED BY 'ambari'; 

GRANTALL PRIVILEGES ON *.* TO 'ambari'@'%'; 

CREATEUSER 'ambari'@'master' IDENTIFIED BY 'ambari'; 

GRANT ALL PRIVILEGES ON *.* TO 'ambari'@' master ';

FLUSH PRIVILEGES;

然后用ambari用户登录,创建ambari元数据库并建表。

mysql -u ambari -p

CREATE DATABASE ambari;

use ambari;

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

如果Ambari后续要安装Hive的话,需要配置Hive元数据,不安装的话可以跳过。首先将mysql-java-connector拷贝到如下三个目录中。

/var/lib/ambari-server/resources/

/usr/share/java/

/usr/lib/ambari-server/

然后执行:

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.44-bin.jar

# mysql-u root -p

CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';

CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';

CREATE USER 'hive'@'tahdp1'IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'tahdp1';

CREATE DATABASE hive_db_name;

配置ambari-server。

ambari-server setup

配置ambari-server

启动ambari。

启动ambari-server

登录web,账号密码默认:admin。

,登录

安装。

开始安装 起个名字 选择版本 安装选线 认证Host 选择安装服务 节点规划 自定义Slaves和cCients 自定义服务配置 review 安装并启动

安装完成启动时有可能会出错。这时点击Net就好,可以随后手动重启或者排除错误。

安装成功但启动报错

所有服务启动成功。

安装过程可能出现的问题

1.重启后,ambari-server能启动但是无法监控到任何服务的信息,无法管理服务。如下图。

无法通信

查看日志如下。

无法连接到n1

网上查到很多解决方式,如更新openssl版等,但未能解决。最终解决方式如下。修改/etc/ambari-agent/conf/ambari-agent.ini文件然后再重启ambari-agent(ambari-agent restart,agent日志报这个错的host都要修改,都要重启)。

如果还不行,把/etc/python/cert-verification.cfg的verify的值改为disable,然后重启ambari-agent。其实原因是因为ambari-agent和ambari-server之间的通信有问题。所以在报错的agent节点的配置文件中加了force_https_protocol=PROTOCOL_TLSv1_2后就好了。

> reference

上一篇下一篇

猜你喜欢

热点阅读