大数据开发环境搭建之Azkaban安装
2020-08-27 本文已影响0人
羋学僧
Azkaban下载安装
1、下载Azkaban
官网下载地址
官网提供的压缩包是Azkaban2.5版本的，但是最新的版本是3.0。如果需要使用3.0版本，只需要到github上下载源码后编译即可。github地址是：GitHub - azkaban/azkaban: Azkaban workflow manager.
Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.gz
Azkaban初始化脚本文件：azkaban-sql-script-2.5.0.tar.gz
Azkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.gz
2、安装Azkaban Web服务器
cd /home/bigdata/soft/
mkdir /home/bigdata/apps/azkaban-2.5.0
tar -zxvf azkaban-web-server-2.5.0.tar.gz
mv azkaban-web-2.5.0/ /home/bigdata/apps/azkaban-2.5.0
3、安装Azkaban Excutor服务器
tar -zxvf azkaban-executor-server-2.5.0.tar.gz
mv azkaban-executor-2.5.0/ /home/bigdata/apps/azkaban-2.5.0
4、安装Azkaban脚本导入
tar -zxvf azkaban-sql-script-2.5.0.tar.gz
mv azkaban-2.5.0/ /home/bigdata/apps/azkaban-2.5.0/azkaban-sql-2.5.0/
进入MySQL
mysql -ubigdata -p123456
创建azkaban数据库
mysql> create database azkaban;
mysql> show databases;
导入数据：
mysql> use azkaban;
mysql> source /home/bigdata/apps/azkaban-2.5.0/azkaban-sql-2.5.0/create-all-sql-2.5.0.sql;
然后查看表：
mysql> show tables;
5、创建SSL配置
最好是在 azkaban 目录下：
执行命令:
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
完成上述工作后,将在当前目录生成
keystore 证书文件,将 keystore拷贝或者移动到 azkaban web 服务 器根目录中：
mv keystore azkaban-web-2.5.0/
6、修改配置文件
cd azkaban-web-2.5.0/conf
修改配置文件：
vim azkaban.properties
内容如下：
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/web/
default.timezone.id=Asia/Shanghai
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/conf/azkaban-users.xml
#Loader for projects
executor.global.properties=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/global.properties
azkaban.project.dir=/home/bigdata/apps/azkaban-2.5.0/projects
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=bigdata
mysql.password=123456
mysql.numconnections=100
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/keystore
jetty.password=123456
jetty.keypassword=123456
jetty.truststore=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/keystore
jetty.trustpassword=123456
# Azkaban Executor settings
executor.port=12321
# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
配置文件讲解：
cat azkaban.properties
#Azkaban Personalization Settings
azkaban.name=Test #服务器UI名称，显示在服务器上面的名字
azkaban.label=My Local Azkaban #描述
azkaban.color=#FF3601 #演示
azkaban.default.servlet.path=/index
web.resource.dir=/software/azkaban/azkaban-web-2.5.0/web/ #默认的web路径
default.timezone.id=Asia/Shanghai #时区
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #用户权限权利默认类
user.manager.xml.file=/software/azkaban/azkaban-web-2.5.0/conf/azkaban-users.xml #用户配置
#Loader for projects
executor.global.properties=/software/azkaban/azkaban-executor-2.5.0/conf/global.properties #global配置文件地址
azkaban.project.dir=/software/azkaban/projects #项目路径
database.type=mysql #数据库类型
mysql.port=3306 #端口号
mysql.host=localhost #主机地址
mysql.database=azkaban #数据库名字
mysql.user=root #用户名
mysql.password=111111 #密码
mysql.numconnections=100 #最大连接数
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL端口号
jetty.port=8081 #Jetty端口
jetty.keystore=/software/azkaban/azkaban-web-2.5.0/keystore #SSL的文件名
jetty.password=111111 #SSL的密码
jetty.keypassword=111111 #Jetty的密码
jetty.truststore=/software/azkaban/azkaban-web-2.5.0/keystore #SSL的文件名
jetty.trustpassword=111111 #SSL的密码
# Azkaban Executor settings
executor.port=12321 #执行服务器端口
# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache #缓存目录
修改用户配置文件：
vim azkaban-users.xml
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
<user username="metrics" password="metrics" roles="metrics"/>
<user username="admin" password="admin" roles="metrics,admin"/>
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
进入到修改executor里面：
cd /home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/
vim azkaban.properties
内容如下：
#Azkaban
default.timezone.id=Asia/Shanghai
# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/plugins/jobtypes
#Loader for projects
executor.global.properties=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/global.properties
azkaban.project.dir=/home/bigdata/apps/azkaban-2.5.0/projects
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=bigdata
mysql.password=123456
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30
7、配置环境变量
vim ~/.bashrc
export AZKABAN_WEB_HOME=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0
export AZKABAN_EXE_HOME=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0
export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin
source ~/.bashrc
8、启动
启动 web 服务器
azkaban-web-start.sh
停止命令：
azkaban-web-shutdown.sh
启动执行服务器
azkaban-executor-start.sh
停止命名：
azkaban-executor-shutdown.sh
通过web页面查看
https://bigdata02:8443/
