Hadoop运维日常我爱编程

使用Ambari搭建HDP集群完全参考手册

2017-12-03  本文已影响805人  咖啡大象不含咖啡

什么是Ambari?

简单来说:Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。
这句话基本等于是一句废话。以下是官网的解释:
The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an intuitive, easy-to-use Hadoop management web UI backed by its RESTful APIs.
这里是Ambari官网:http://ambari.apache.org/

也就是说:Ambari是一个可以用来简化Hadoop集群创建、管理、监控的一个软件。今天就来介绍如何安装Ambari和如何使用Ambari来部署Hadoop集群。

预置环境

 vim /etc/selinux/config
 将SELINUX=enforcing改成SELINUX=disabled
vim /etc/sysctl.conf
在最后添加: vm.swappiness=0

安装Ambari

  1. 需要获取 Ambari 的公共库文件(public repository)。登录到 Linux 主机并执行下面的命令,也可以自己手工下载之后上传到相应主机:
wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo

我装的是2.0.1版本的,追求高版本的同学可直接把上面2.0.1改为自己想要的版本,比如:2.5.2,有哪些版本可到官网上查看。
将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/。拷贝完后,我们需要获取该公共库的所有的源文件列表。依次执行以下命令。

yum clean all
yum list|grep ambari
yum源

上述结果表明公共库已配置成功。然后开始第二步;

  1. 安装ambari server
    如果选择将Ambari server安装在这台机器上,则:
yum install ambari-server
  1. 配置ambari server
    等上述步骤安装完成之后,使用以下命令配置ambari server
ambari-server setup

这是一个交互环境,记住:

  1. 启动ambari server
ambari-server start

成功启动 Ambari Server 之后,便可以从浏览器登录,默认的端口为 8080。以我的环境为例,在浏览器的地址栏输入 http://hdp1:8080,登录密码为 admin/admin。登入 Ambari 之后的页面如下图。

ambari向导界面

部署HDP集群

  1. 点击上述图片中的Launch install Wizard

  2. 选择stack
    我选择 的是HDP2.2,里面的对应的 Hadoop 版本为 2.6.x

3.指定 Agent 机器(如果配置了域,必须包含完整域名,例如本文环境的域为 example.com),这些机器会被安装 Hadoop 等软件包。配置SSH免密登陆时,会生成一个rsa_id文件,也就是私钥,这里需要指定当时在 Ambari Server 机器生成的私钥。


填入私钥

将ambari server这台主机的rsa_id取出来,放在自己的电脑上,如何选择文件将这个私钥导入即可。

  1. confirm hosts
    也就是安装向目的主机安装ambari agent

5.choose service
选择你要安装的服务,我这里选择:
HDFS、Yarn、zookeeper、HBase
也就是标配。

6.Assign master和slave
即:分配哪些机器安装哪些服务

下面步骤都很简单,一直点击next便可完成。

安装完之后便可以得到图示结果:


安装效果

刚装好时,因为所有服务都没启动,所有全是告警,上图因为我正在启动服务,所有欧HDFS和zookeeper显示无告警。
7.点击上图Actions >>start all


Start all
出现
Start all

最后呈现出一个无告警的状态,完美。

PS:在Start all 阶段,很有可能会出现有些服务无法启动的情况。这时,不要慌张,一般是有些配置不当。我也总结了一些在我的文集内,可查看Hadoop运维笔记,一般都可以解决。

refer to
官网


please feel free to contact me
上一篇下一篇

猜你喜欢

热点阅读