Ambari集群搭建demo
三台主机模仿集群
主机名和ip设置软件准备
1.Vmware10
2.Centos7
3.jdk8
4.ambari-2.6.0.0-centos7.tar.gz
5.HDP-2.6.3.0-centos7-rpm.tar.gz
6.HDP-UTILS-1.1.0.21-centos7.tar.gz
7.mysql-connector-java-5.1.44-bin.jar
Linux基础环境
1.配置hostname配置。
2.配置network。
3.配置hosts映射。
hosts映射修改4.关闭防火墙 (三台机子都执行)。
关闭防火墙5.禁用selinux(三台机子都执行)。
6.修改umask值为0022(三台都执行)。
umask值修改7.ulimit限制资源修改(三台都执行)。
8.配置集群时间同步。
9.配置集群SSH免密登录。
10.httpd安装(只在n1上执行)。
11.安装MySQL(只在n1上执行)。
12.jdk安装(三台都安装)。
配置ambari源
1.将ambari、hdp和hdp-utils文件解压并放在/var/www/html/目录中(空间不够的话可以创建软链接)。然后在浏览器中访问(如果不能访问,请检查httpd服务是否开启,并设置了开机启动)。
测试访问2.将ambari.repo和hdp.repo拷贝到/etc/yum.repo.d/目录中。并修改baseurl(模仿原先的配置修改到相应目录就可以了)。
vi /etc/yum.repo.d/ambari.repo
vi /etc/yum.repo.d/hdp.repo
3.将ambari.repo和hdp.repo拷贝到集群其他节点的/etc/yum.repo.d/目录下。
ambari-server安装
在n1节点上安装ambari-server。
yum install ambari-server -y
配置ambari元数据
安装ambari-server后就可以配置了,但是配置之前有需要配置ambari的元数据存储。这里是以MySQL作为ambari的元素据存储。首先创建ambari元数据用户并赋予权限。
mysql -u root -p
CREATEUSER 'ambari'@'localhost' IDENTIFIED BY 'ambari';
GRANTALL PRIVILEGES ON *.* TO 'ambari'@'localhost';
CREATEUSER 'ambari'@'%' IDENTIFIED BY 'ambari';
GRANTALL PRIVILEGES ON *.* TO 'ambari'@'%';
CREATEUSER 'ambari'@'master' IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@' master ';
FLUSH PRIVILEGES;
然后用ambari用户登录,创建ambari元数据库并建表。
mysql -u ambari -p
CREATE DATABASE ambari;
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
如果Ambari后续要安装Hive的话,需要配置Hive元数据,不安装的话可以跳过。首先将mysql-java-connector拷贝到如下三个目录中。
/var/lib/ambari-server/resources/
/usr/share/java/
/usr/lib/ambari-server/
然后执行:
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.44-bin.jar
# mysql-u root -p
CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
CREATE USER 'hive'@'tahdp1'IDENTIFIED BY 'hive';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'tahdp1';
CREATE DATABASE hive_db_name;
配置ambari-server。
配置ambari-serverambari-server setup
启动ambari。
启动ambari-server登录web,账号密码默认:admin。
,登录安装。
开始安装 起个名字 选择版本 安装选线 认证Host 选择安装服务 节点规划 自定义Slaves和cCients 自定义服务配置 review 安装并启动安装完成启动时有可能会出错。这时点击Net就好,可以随后手动重启或者排除错误。
安装成功但启动报错所有服务启动成功。
安装过程可能出现的问题
1.重启后,ambari-server能启动但是无法监控到任何服务的信息,无法管理服务。如下图。
无法通信查看日志如下。
无法连接到n1网上查到很多解决方式,如更新openssl版等,但未能解决。最终解决方式如下。修改/etc/ambari-agent/conf/ambari-agent.ini文件然后再重启ambari-agent(ambari-agent restart,agent日志报这个错的host都要修改,都要重启)。
如果还不行,把/etc/python/cert-verification.cfg的verify的值改为disable,然后重启ambari-agent。其实原因是因为ambari-agent和ambari-server之间的通信有问题。所以在报错的agent节点的配置文件中加了force_https_protocol=PROTOCOL_TLSv1_2后就好了。