使用Fabric自动化部署Hadoop和Spark集群

2020-06-06 本文已影响0人湘港记者

我的博客：菱歌's Blog | 听见美好
笔记原文地址：使用Fabric自动化部署Hadoop和Spark集群

Hadoop和Spark是常用的大数据集群系统，对于小团队/院校实验室而言，没有专职IT运维，因此每次需要初始化部署的时候都非常头疼。

之前都是按照网上搜索的教程一步步配置，非常繁琐+枯燥。写的比较清晰的教程有以下几个：

但是实际上，其中大部分工作都是重复体力活，尤其是在面对十来台甚至更多机器的时候，重复敲命令非常痛苦。

而使用Fabric可以实现自动执行命令，完成部署。因此，只要我们写好部署脚本就可以一劳永逸。这里以Hadoop和Spark的部署为例，讲解一下Fabric自动化脚本的编写和使用。在实际应用中，可以将其应用于任何需要大规模、重复执行命令的场景。

安装Fabric

Fabric现在已经支持Python 2.7和3.4以上版本了，因此不需要考虑Python版本的问题，个人习惯使用Python3。

同时，现在Fabric也已经更新到了2.x版本，通常只需要使用pip进行安装即可：

pip install fabric

如果想同时使用1.x和2.x版本的Fabric可以指定安装：

pip install fabric2

在这个过程中会安装paramiko等依赖，事实上Fabric也是基于paramiko进行SSH操作。

编写脚本

对于需要sudo权限的操作，比如在配置集群中需要用到的更改hosts文件，我们采用sudo进行操作。脚本生成需要更改的字符串后echo到指定文件中。

@task
def add_host(c):
    host_cmd = '''sh -c "echo '{}' >> /etc/hosts"'''.format(
        generate_hosts(config.server.hosts, config.server.hostnames))
    sudo_conn.sudo(host_cmd, pty=True)

对于普通操作，我们直接使用run进行命令执行，例如Hadoop的安装等。

@task
def install_hadoop(c):
    hadoop_source = os.path.join('/home', config.server.username, 'hadoop.tar.gz')
    hadoop_path = os.path.join('/home', config.server.username, config.server.hadoop_path)

    print('put hadoop...')
    conn.put(config.server.hadoop_source, hadoop_source)
    print('install hadoop...')
    conn.run("tar -zxf {}".format(hadoop_source), pty=True)
    print('configure bashrc...')
    conn.run("echo 'export HADOOP_HOME={}'>>~/.bashrc".format(hadoop_path), pty=True)
    conn.run("echo 'export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH'>>~/.bashrc", pty=True)
    # clean
    print('clean...')
    conn.run("rm {}".format(hadoop_source), pty=True)

因为在内置的顺序操作中，缺少sudo, get, put等操作，我们在原有SerialGroup类的基础上实现了GroupHelper用于对多个机器操作。

其他具体脚本可以见文章末尾的Github链接。

执行脚本实现自动化部署

填写配置文件

配置文件主要包括一些个人的口令和服务器的IP，hostnames，各个需要安装的程序的源路径和目标路径等，另外还有一些Hadoop和Spark的配置信息也可以通过配置文件来调整。

执行脚本

根据编写的脚本函数名称，将其按照需要运行的顺序依次排列：

#!/usr/bin/env bash
# init order
fab remove-user create-user clean-host add-host clean-key add-key install-jdk install-scala set-ntp install-hadoop configure-hadoop format-hadoop start-hadoop install-spark configure-spark start-spark

休息&等待

喝杯奶茶or咖啡or可乐...

测试

等待部署完成后，可以测试一下能否正常运行spark的示例程序：

# test
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://sparkmaster:7077 examples/jars/spark-examples_2.11-2.4.4.jar 100

总结

使用Fabric进行部署既可以省掉很多时间和重复劳动，也可以很大程度避免多次执行命令过程中的错误，可以说是事半功倍。个人认为以下场景都很适合使用：

面向多个服务器/集群进行配置
需要自动、定期、不需要干预地进行命令执行
需要经常重复执行某些操作

本文使用的代码以及配置文件模板已上传到Github：auto_init_cluster：用于自动部署Hadoop和Spark集群。