RangerHDFS 部署流程
依赖
依赖项 | 作用 | 备注 |
---|---|---|
MySQL | RangerAdmin 用来存储规则等数据 | 需要在 RangerAdmin 上部署,RangerAdmin 可以选择 MySQL、PgSql 和 Oracle |
Solr | RangerAdmin 用来做审计日志存储和搜索 | solr 在现网环境中需要做成集群,它又依赖 zookeeper,在测试环境中,这一项非必须 |
MySql
安装
-
Ubuntu:
apt-get install mysql-server
-
CentOS 7 使用 yum 安装 MarriaDB 代替 MySQL:
https://jaminzhang.github.io/mysql/yum-install-MariaDB-in-CentOS7/ -
注意配置 MySQL 监听在 localhost 就可以了。
配置
-
在 MySQL 中创建一个名为 ranger 的 database(假设 root 密码为 passwd):
mysql -uroot -ppasswd -e'create database ranger'
-
将 mysql-connector-java.jar 放到 /usr/share/java 下面,创建好软链接(如果需要的话)。
Ranger Admin
Ranger Admin 是 Ranger 的 server 端,用户通过它配置 ranger policy,Ranger Admin 使用 MySQL 或其他 sql 存储 policy 等数据,并使用 solr 存储和搜索审计日志。
配置
- 在 ranger-1.1.0-admin/install.properties 配置好使用 MySQL 的 user、passwd 和 database、Ranger Amdin 的监听端口等等,样例:
db_root_user=root
db_root_password=123456
db_host=localhost:3306
db_name=ranger
db_user=root
db_password=123456
policymgr_external_url=http://ubuntu2:6080
- 从 Ranger 0.6 之后,Ranger Admin 的 Audit 日志就只支持 solr 存储了,solr 有自己的搭建方法,此处不再赘述,这里只需要给一个假的 solr 地址即可,不影响我们核心的功能测试,例如:
audit_solr_urls=http://192.168.0.103:8983/solr/ranger_audits
启动
在 Ranger Admin 目录下,依次执行下面这两条命令即可
./setup.sh
ranger-admin start
访问
通过浏览器访问即可,默认用户名/密码为 admin/admin
Ranger UserSync
Ranger UserSync 负责把本机上的用户信息同步到 Ranger Admin,在需要同步用户信息的机器上,需要安装 Ranger UserSync.
配置
在 ranger-1.1.0-usersync/install.properties 中,配置好 Ranger Admin 的地址和 hadoop 的配置文件路径,例如
POLICY_MGR_URL = http://ubuntu2:6080
hadoop_conf=/home/mushu/hadoop-2.7.2/etc/hadoop/
启动
在 Ranger UserSync 目录下,依次执行下面两条命令即可:
./setup.sh
ranger-usersync start
Ranger HDFS Plugin
Ranger HDFS Plugin 是 Ranger 为 HDFS 提供的插件
配置
在 ranger-1.1.0-hdfs-plugin/install.properties 中,配置好 Ranger Admin 地址、本集群对应的 Ranger service 名字、本地 hadoop 安装路径等:
POLICY_MGR_URL=http://ubuntu2:6080
REPOSITORY_NAME=hdfs
COMPONENT_INSTALL_DIR_NAME=/home/mushu/hadoop-2.7.2
启动
在 Ranger HDFS Plugin 目录下,执行以下命令:
./enable-hdfs-plugin.sh
完成后需要重启 NameNode