RangerHDFS 部署流程

2021-09-06  本文已影响0人  xudong1991

依赖

依赖项 作用 备注
MySQL RangerAdmin 用来存储规则等数据 需要在 RangerAdmin 上部署,RangerAdmin 可以选择 MySQL、PgSql 和 Oracle
Solr RangerAdmin 用来做审计日志存储和搜索 solr 在现网环境中需要做成集群,它又依赖 zookeeper,在测试环境中,这一项非必须

MySql

安装

  1. Ubuntu:
    apt-get install mysql-server

  2. CentOS 7 使用 yum 安装 MarriaDB 代替 MySQL:
    https://jaminzhang.github.io/mysql/yum-install-MariaDB-in-CentOS7/

  3. 注意配置 MySQL 监听在 localhost 就可以了。

配置

  1. 在 MySQL 中创建一个名为 ranger 的 database(假设 root 密码为 passwd):
    mysql -uroot -ppasswd -e'create database ranger'

  2. 将 mysql-connector-java.jar 放到 /usr/share/java 下面,创建好软链接(如果需要的话)。

Ranger Admin

Ranger Admin 是 Ranger 的 server 端,用户通过它配置 ranger policy,Ranger Admin 使用 MySQL 或其他 sql 存储 policy 等数据,并使用 solr 存储和搜索审计日志。

配置

  1. 在 ranger-1.1.0-admin/install.properties 配置好使用 MySQL 的 user、passwd 和 database、Ranger Amdin 的监听端口等等,样例:
db_root_user=root
db_root_password=123456
db_host=localhost:3306
db_name=ranger
db_user=root
db_password=123456
policymgr_external_url=http://ubuntu2:6080
  1. 从 Ranger 0.6 之后,Ranger Admin 的 Audit 日志就只支持 solr 存储了,solr 有自己的搭建方法,此处不再赘述,这里只需要给一个假的 solr 地址即可,不影响我们核心的功能测试,例如:
audit_solr_urls=http://192.168.0.103:8983/solr/ranger_audits

启动

在 Ranger Admin 目录下,依次执行下面这两条命令即可

./setup.sh
ranger-admin start

访问

通过浏览器访问即可,默认用户名/密码为 admin/admin

Ranger UserSync

Ranger UserSync 负责把本机上的用户信息同步到 Ranger Admin,在需要同步用户信息的机器上,需要安装 Ranger UserSync.

配置

在 ranger-1.1.0-usersync/install.properties 中,配置好 Ranger Admin 的地址和 hadoop 的配置文件路径,例如

POLICY_MGR_URL = http://ubuntu2:6080
hadoop_conf=/home/mushu/hadoop-2.7.2/etc/hadoop/

启动

在 Ranger UserSync 目录下,依次执行下面两条命令即可:

./setup.sh
ranger-usersync start

Ranger HDFS Plugin

Ranger HDFS Plugin 是 Ranger 为 HDFS 提供的插件

配置

在 ranger-1.1.0-hdfs-plugin/install.properties 中,配置好 Ranger Admin 地址、本集群对应的 Ranger service 名字、本地 hadoop 安装路径等:

POLICY_MGR_URL=http://ubuntu2:6080
REPOSITORY_NAME=hdfs
COMPONENT_INSTALL_DIR_NAME=/home/mushu/hadoop-2.7.2

启动

在 Ranger HDFS Plugin 目录下,执行以下命令:
./enable-hdfs-plugin.sh

完成后需要重启 NameNode

上一篇下一篇

猜你喜欢

热点阅读