Step by Step 实现基于 Cloudera 5.8.2

2017-02-19 本文已影响807人大数据之心

传输层加密的概念和知识请自行谷歌。本文主要阐述如何进行 Cloudera Manager 本身组件的 TLS / SSL，以及 Hadoop 组件的 TLS / SSL。

Clouder Manager 组件传输层加密

传输层安全性 (TLS) 在 Cloudera Manager Server 和 agent 之间的通信中提供加密和身份验证。加密可防止监听，而身份验证有助于防止恶意 server 或 agent 所导致的问题。Cloudera Manager 支持三个级别的 TLS 安全性。

级别 1（良好）- 此级别会对浏览器和 Cloudera Manager 以及 Agent 和 Cloudera Manager Server 之间的通信进行加密。级别 1 加密可防止监听命令，并控制代理与 Cloudera Manager 之间正在进行的通信。
级别 2（更佳）- 此级别会对 Agent 和 Server 之间的通信进行加密，并对 Agent 呈交的 Cloudera Manager Server 证书提供强大验证。级别 2 通过验证 Cloudera Manager Server 呈交的证书的信任来加强 Agent 的安全性。
级别 3（最佳）- 包括对 Agent 与 Server 之间的通信进行加密、对 Agent 呈交的 Cloudera Manager Server 证书提供强大验证以及使用自签名和颁发机构签名的证书向 Cloudera Manager Server 验证代理。级别 3 TLS 可防止主机上运行的不受信任的 Agent 监听集群服务器。建议在启用 Kerberos 身份验证之前为不受信任的网络环境配置级别 3 TLS 加密。这样做可在 Cloudera Manager Server 与群集上的已验证的 Agent 之间提供安全的 Keytab 通信。

在进行后续配置前，我们关注下前序条件：

集群功能齐备，包括必要的核心服务；

启用 TLS 时，将继续在端口 7180 上接受 HTTP 请求，但是会立即将客户端重定向到端口 7183 来实现 HTTPS 连接；

当配置了级别 3 TLS 时，要添加 Cloudera Agent，必须为主机颁发新证书，配置 /opt/cm-5.6.0/etc/cloudera-scm-agent/config.ini 以使用 SSL / TLS；或者，禁用 TLS 以添加主机，为 TLS 配置新主机，然后使用现有的适当配置重新启用；

对于所有 Agent，首先在 Java 中创建 Keystore，然后使用 OpenSSL 导出密钥和证书以供 Agent 或 HUE 使用；

本文中，我们使用的所有证书都是自签名证书，网上有许多免费证书签名机构，比如：https://www.startssl.com/
读者可以在熟练掌握后自行申请。

TLS 0: 启用Cloudera Manager Admin Console 加密

Step1. 生成并创建自签名证书

list_all 文件包括了所有 Cloudera 服务器(Server 和 Agent)：

192.168.1.1
192.168.1.3
192.168.1.4
192.168.1.5
192.168.1.6
192.168.1.7
192.168.1.8
192.168.1.9
192.168.1.10
192.168.1.11
192.168.1.12
192.168.1.13
192.168.1.14
192.168.1.15
192.168.1.16
192.168.1.17

在所有节点(包括 Cloudera Server 和 Cloudera Agent)创建安全相关目录，/opt/cloudera 为之前我们部署 Cloudera 的根目录， cloudera-scm 是 Cloudera 部署时自动创建的超级管理员账户，相关信息可以看Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - 基础部署：

pssh -h list_all "sudo mkdir -p /opt/cloudera/security/x509/ /opt/cloudera/security/jks/"
pssh -h list_all "sudo chown -R cloudera-scm:cloudera-scm /opt/cloudera/security"

这一步中我们创建了默认的 Cloudera 安全文件存放路径，并且赋权给了 cloudera-scm 管理员权限。

在所有节点生成密钥对和自签名证书，并将它们存储在 JKS 格式的密钥库（cms.keystore）中。将 -keypass 设置为与 -storepass 相同的值：

pscp -h list_all generate_jks.sh /tmp
pssh -h list_all "sudo /usr/bin/bash /tmp/generate_jks.sh"

其中脚本 generate_jks.sh 的内容如下，请对 JAVA_HOME、STORE_PASS进行赋值：

#!/bin/bash
JAVA_HOME=${JAVA_HOME}
BASE_SECURITY_PATH=/opt/cloudera/security/
KEYSTORE_NAME=cms.keystore
KEYSTORE_ALIAS=cms
HOSTNAME=`hostname -f`
STORE_PASS=${STORE_PASS}
 
sudo ${JAVA_HOME}/bin/keytool -genkeypair -keystore ${BASE_SECURITY_PATH}/jks/${KEYSTORE_NAME}.${HOSTNAME} -keyalg RSA -alias ${KEYSTORE_ALIAS}.${HOSTNAME} -dname "CN=${HOSTNAME},OU=Bigdata,O=Domain,L=Hangzhou,ST=Zhejiang,C=CN" -storepass ${STORE_PASS} -keypass ${STORE_PASS}

将缺省 Java 信任库（cacerts）复制到备用系统信任库（jssecacerts），自签名证书导入到 jssecacerts，而不修改默认 cacerts 文件，并从密钥库（cms.keystore）导出证书：

pscp -h list_all generate_ca.sh /tmp
pssh -h list_all "sudo /usr/bin/bash /tmp/generate_ca.sh"

其中脚本 generate_ca.sh 的内容如下，请对 JAVA_HOME、STORE_PASS进行赋值：

#!/bin/bash
 
JAVA_HOME=${JAVA_HOME}
BASE_SECURITY_PATH=/opt/cloudera/security/
KEYSTORE_ALIAS=cms
KEYSTORE_NAME=cms.keystore
SELF_CA_NAME=selfsigned.cer
STORE_PASS=${STORE_PASS}
PEM_NAME=cmhost.pem
HOSTNAME=`hostname -f`
 
sudo cp ${JAVA_HOME}/jre/lib/security/cacerts ${JAVA_HOME}/jre/lib/security/jssecacerts.${HOSTNAME}
sudo ${JAVA_HOME}/bin/keytool -export -alias ${KEYSTORE_ALIAS}.${HOSTNAME} -keystore ${BASE_SECURITY_PATH}/jks/${KEYSTORE_NAME}.${HOSTNAME} -rfc -file ${BASE_SECURITY_PATH}/${SELF_CA_NAME}.${HOSTNAME} -storepass ${STORE_PASS}
sudo cp ${BASE_SECURITY_PATH}/${SELF_CA_NAME}.${HOSTNAME} ${BASE_SECURITY_PATH}/x509/${PEM_NAME}.${HOSTNAME}
sudo chown cloudera-scm:cloudera-scm ${BASE_SECURITY_PATH}/x509/${PEM_NAME}.${HOSTNAME}
sudo cp ${BASE_SECURITY_PATH}/${SELF_CA_NAME}.${HOSTNAME} /tmp

我们需要使用 expect 进行交互式脚本批量处理：

pssh -h list_all "sudo yum install -y expect tcl"

修改默认 jssecacerts 库密码：

pscp -h list_all modify_jssecacerts_passwd.expect /tmp
pscp -h list_all modify_jssecacerts_passwd.sh /tmp
pssh -h list_all "sudo /bin/bash /tmp/modify_jssecacerts_passwd.sh"

其中脚本 modify_jssecacerts_passwd.expect 的内容如下：

#!/usr/bin/expect -f
 
set JAVA_HOME ${JAVA_HOME}
set timeout 300
set current_passwd [lindex $argv 0]
set new_passwd [lindex $argv 1]
set hostname [lindex $argv 2]
 
spawn sudo ${JAVA_HOME}/bin/keytool -storepasswd -keystore ${JAVA_HOME}/jre/lib/security/jssecacerts.${hostname}
    sleep 1
    expect "Enter keystore password:"
    send "${current_passwd}\r"
    expect "New keystore password:"
    send "${new_passwd}\r"
    expect "Re-enter new keystore password:"
    send "${new_passwd}\r"
expect eof

其中脚本 modify_jssecacerts_passwd.sh 的内容如下，${CURRENT_PASSWD} 为 changeit , ${NEW_PASSWD} 为新指定的密码，需要读者自行设置：

#/bin/bash
CURRENT_PASSWD=${CURRENT_PASSWD}
NEW_PASSWD=${NEW_PASSWD}
HOSTNAME=`hostname -f`
 
sudo /usr/bin/expect /tmp/modify_jssecacerts_passwd.expect ${CURRENT_PASSWD} ${NEW_PASSWD} ${HOSTNAME}

在每台机器上执行，把客户端的自签名证书导入到客户端本地的信任库：

pscp -h list_all import_ca.expect /tmp
pscp -h list_all import_ca.sh /tmp
pssh -h list_all "sudo /bin/bash /tmp/import_ca.sh"

其中脚本 import_ca.expect 的内容如下，请对 JAVA_HOME进行赋值：

#!/usr/bin/expect -f
 
set JAVA_HOME ${JAVA_HOME}
set keystore_alias cms
set self_ca_name selfsigned.cer
set timeout 300
set storepass [lindex $argv 0]
set hostname [lindex $argv 1]
  
spawn sudo ${JAVA_HOME}/bin/keytool -import -alias ${keystore_alias}.${hostname} -file /tmp/${self_ca_name}.${hostname} -keystore ${JAVA_HOME}/jre/lib/security/jssecacerts.${hostname} -storepass ${storepass}
    sleep 1
    expect "Trust this certificate?"
    send "yes\r"
expect eof

其中脚本 import_ca.sh 的内容如下，请对 PASSWD进行赋值，为之前我们新指定的 jssecacerts 信任库密码：

#!/bin/bash
PASSWD=${PASSWD}
HOSTNAME=`hostname -f`
 
sudo /usr/bin/expect /tmp/import_ca.expect ${PASSWD} ${HOSTNAME}

在主节点(Cloudera Server) 192.168.1.1 上执行，把所有客户端的证书注入公共库，并且分发(list_agents_hostname 为 slave 的主机名 FQDN 列表)：

s001003.dc1.domain.com
s001004.dc1.domain.com
s001005.dc1.domain.com
s001006.dc1.domain.com
s001007.dc1.domain.com
s001008.dc1.domain.com
s001009.dc1.domain.com
s001010.dc1.domain.com
s001011.dc1.domain.com
s001012.dc1.domain.com
s001013.dc1.domain.com
s001014.dc1.domain.com
s001015.dc1.domain.com
s001016.dc1.domain.com
s001017.dc1.domain.com

sudo /bin/bash modify_jssecacerts_public_passwd.sh
/bin/bash get_ca_from_slave.sh
sudo /bin/bash import_ca_public.sh
pscp -h list_agents_hostname ${JAVA_HOME}/jre/lib/security/jssecacerts.public /tmp
pssh -h list_agents_hostname "sudo cp /tmp/jssecacerts.public ${JAVA_HOME}/jre/lib/security/"

其中脚本modify_jssecacerts_public_passwd.sh 的内容如下，请对 JAVA_HOME、CURRENT_PASSWD、NEW_PASSWD进行赋值，CURRENT_PASSWD 为 changeit：

#!/bin/bash
JAVA_HOME=${JAVA_HOME}
CURRENT_PASSWD=${CURRENT_PASSWD}
NEW_PASSWD=${NEW_PASSWD}
 
sudo cp ${JAVA_HOME}/jre/lib/security/cacerts ${JAVA_HOME}/jre/lib/security/jssecacerts.public
sudo cp modify_jssecacerts_public_passwd.expect /tmp
sudo /usr/bin/expect /tmp/modify_jssecacerts_public_passwd.expect ${CURRENT_PASSWD} ${NEW_PASSWD}

其中脚本 get_ca_from_slave.sh 的内容如下：

#!/bin/bash

SELF_CA_NAME=selfsigned.cer

for slave in `cat list_agents_hostname`
do
    scp ${slave}:/tmp/${SELF_CA_NAME}.${slave} /tmp
done

其中脚本 import_ca_public.sh 的内容如下：

#!/bin/bash

SELF_CA_NAME=selfsigned.cer
NEW_PASSWD=${new_passwd}

sudo cp import_ca_public.expect /tmp
for slave in `cat list_agents_hostname`
do
    sudo /usr/bin/expect /tmp/import_ca_public.expect ${NEW_PASSWD} ${slave}
done

其中脚本 modify_jssecacerts_public_passwd.expect 的内容如下，请对 JAVA_HOME进行赋值：

#!/usr/bin/expect -f
  
set JAVA_HOME ${JAVA_HOME}
set timeout 300
set current_passwd [lindex $argv 0]
set new_passwd [lindex $argv 1]
  
spawn sudo ${JAVA_HOME}/bin/keytool -storepasswd -keystore ${JAVA_HOME}/jre/lib/security/jssecacerts.public
    sleep 1
    expect "Enter keystore password:"
    send "${current_passwd}\r"
    expect "New keystore password:"
    send "${new_passwd}\r"
    expect "Re-enter new keystore password:"
    send "${new_passwd}\r"
expect eof

其中脚本 import_ca_public.expect 的内容如下，请对 JAVA_HOME进行赋值：

#!/usr/bin/expect -f
  
set JAVA_HOME ${JAVA_HOME}
set keystore_alias cms
set self_ca_name selfsigned.cer
set timeout 300
set storepass [lindex $argv 0]
set hostname [lindex $argv 1]
  
spawn sudo ${JAVA_HOME}/bin/keytool -import -alias ${keystore_alias}.${hostname} -file /tmp/${self_ca_name}.${hostname} -keystore ${JAVA_HOME}/jre/lib/security/jssecacerts.public -storepass ${storepass}
    sleep 1
    expect "Trust this certificate?"
    send "yes\r"
expect eof

Step2. 启动 Admin Console 的 HTTPS 加密访问

登录到 Cloudera Manager Administration Console (http://192.168.1.1:7180)；
选择 Administration -> Settings；
点击 Security 类目；
进行如下 TLS 配置，其中 KEYSTORE_PASSWORD 为之前生成 JKS 密钥库密码：

Use TLS Encryption for Admin Console = true
Path to TLS Keystore File = /opt/cloudera/security/jks/cms.keystore.192.168.1.1
Keystore Password = ${KEYSTORE_PASSWORD}

点击 Save Changes 以保存配置（现在不需要重启 Cloudera Server）；

Step3. 为 Cloudera Management Services 设置SSL

打开 Cloudera Manager Administration Console (http://192.168.1.1:7180) 选择 Cloudera Management Service；

点击 Configuration 选项卡；

选择 Scope -> Cloudera Management Service (Service-Wide)；

选择 Category -> Security；

编辑以下 TLS/SSL 属性，其中 TRUSTSOTRE_FILE_PASSWORD 为之前我们设置的 jssecacerts.public 的新密码：

TLS/SSL Client Truststore File Location = $JAVA_HOME/jre/lib/security/jssecacerts.public
TLS/SSL Client Truststore File Password = ${TRUSTSOTRE_FILE_PASSWORD}

Step4. 重启服务

重启顺序：

重启 Cloudera SCM Server，这一步需要登录 192.168.1.1 进行终端操作；

sudo /opt/cm-5.8.2/etc/init.d/cloudera-scm-server restart

重启 Cloudera Management Services，这一步直接可以在 Cloudera Manager Administration Console 操作；

Step5. 验证加密是否生效

现在可以通过 7183 端口以 HTTPS 协议访问 Cloudera Manager Administration Console ：

https://192.168.1.1:7183/

TLS 1: 为 Cloudera Agent 配置 TLS 加密

Use TLS Encryption for Agents = TRUE

点击 Save Changes 并重启 Cloudera Server:

sudo /opt/cm-5.8.2/etc/init.d/cloudera-scm-server restart

在每台 Cloudera Agent 节点执行：

pssh -h list_agents "sudo sed -i 's|use_tls=0|use_tls=1|g' /etc/cloudera-scm-agent/config.ini"
pssh -h list_agents "sudo /bin/systemctl restart cloudera-scm-agent"

验证加密是否生效：

在 Cloudera Manager Admin Console，打开 Hosts 页面。如果 Agent 心跳正常，则说明TLS 加密正常工作。

TLS 2: 在Cloudera Agent 上启用服务器的证书认证

修改主节点 192.168.1.1 /etc/cloudera-scm-agent/config.ini 配置文件，解注并设置如下属性：

sudo sed -i "s|# verify_cert_file=|verify_cert_file=\/opt\/cloudera\/security\/x509\/cmhost.pem.192.168.1.1|g" /etc/cloudera-scm-agent/config.ini

重启 Cloudera Agent：

pscp -h list_agents /opt/cloudera/security/x509/cmhost.pem.192.168.1.1 /tmp
pssh -h list_agents "sudo cp /tmp/cmhost.pem.192.168.1.1 /opt/cloudera/security/x509"
pssh -h list_agents "sudo sed -i 's|# verify_cert_file=|verify_cert_file=\/opt\/cloudera\/security\/x509\/cmhost.pem.192.168.1.1|g' /etc/cloudera-scm-agent/config.ini"
pssh -h list_agents "sudo /bin/systemctl restart cloudera-scm-agent"

在 Cloudera Manager Admin Console 中重启 Cloudera Management Service。

验证加密是否生效：

在 Cloudera Manager Admin Console，打开 Hosts 页面。如果 Agent 心跳正常，则说明TLS 加密正常工作。

TLS 3: 启用服务端对客户端的证书认证

Step1. 在所有节点上操作，每个节点的目录存放自己的 P12 格式证书、密钥和密钥密码

pscp -h list_all init_p12.sh /tmp
pssh -h list_all "sudo /bin/bash /tmp/init_p12.sh"

其中脚本init_p12.sh 内容如下，请对 JAVA_HOME PASSWD进行赋值，其中 PASSWD 为之前定义的 JKS 密钥库密码：

#!/bin/bash
 
JAVA_HOME=${JAVA_HOME}
BASE_SECURITY_PATH=/opt/cloudera/security
KEYSTORE_ALIAS=cms
KEYSTORE_NAME=cms.keystore
HOSTNAME=`hostname -f`
PASSWD=${PASSWD}
P12_NAME=cms.pem
P12_KEY_NAME=cms.key
 
sudo -u cloudera-scm ${JAVA_HOME}/bin/keytool -importkeystore -srckeystore ${BASE_SECURITY_PATH}/jks/${KEYSTORE_NAME}.${HOSTNAME} \
-srcstorepass ${PASSWD} -srckeypass ${PASSWD} -destkeystore /tmp/${KEYSTORE_NAME}.p12.${HOSTNAME} \
-deststoretype PKCS12 -srcalias ${KEYSTORE_ALIAS}.${HOSTNAME} -deststorepass ${PASSWD} -destkeypass ${PASSWD}
 
sudo -u cloudera-scm openssl pkcs12 -in /tmp/${KEYSTORE_NAME}.p12.${HOSTNAME} -passin pass:${PASSWD}  -nokeys \
-out ${BASE_SECURITY_PATH}/x509/${P12_NAME}.${HOSTNAME}
sudo -u cloudera-scm openssl pkcs12 -in /tmp/${KEYSTORE_NAME}.p12.${HOSTNAME} -passin pass:${PASSWD} -nocerts \
-out ${BASE_SECURITY_PATH}/x509/${P12_KEY_NAME}.${HOSTNAME} -passout pass:${PASSWD}
 
sudo echo "${PASSWD}" > /tmp/agentkey.pw.${HOSTNAME}
sudo cp /tmp/agentkey.pw.${HOSTNAME} /opt/cloudera/security/x509/
sudo chown root.root /opt/cloudera/security/x509/agentkey.pw.${HOSTNAME}
sudo chmod 644 /opt/cloudera/security/x509/agentkey.pw.${HOSTNAME}

sudo -u cloudera-scm cp ${BASE_SECURITY_PATH}/x509/${P12_NAME}.${HOSTNAME} ${BASE_SECURITY_PATH}/x509/${P12_NAME}.cmagent
sudo -u cloudera-scm cp ${BASE_SECURITY_PATH}/x509/${P12_KEY_NAME}.${HOSTNAME} ${BASE_SECURITY_PATH}/x509/${P12_KEY_NAME}.cmagent
sudo cp /opt/cloudera/security/x509/agentkey.pw.${HOSTNAME} /opt/cloudera/security/x509/agentkey.pw.cmagent

Step2. 将 Agent 配置为使用私钥和证书

在每个 Agent 上，打开 /etc/cloudera-scm-agent/config.ini 配置文件并编辑以下属性：

pssh -h list_agents "sudo sed -i 's|# client_key_file=|client_key_file=\/opt\/cloudera\/security\/x509\/cms.key.cmagent|g' /etc/cloudera-scm-agent/config.ini"
pssh -h list_agents "sudo sed -i 's|# client_keypw_file=|client_keypw_file=\/opt\/cloudera\/security\/x509\/agentkey.pw.cmagent|g' /etc/cloudera-scm-agent/config.ini"
pssh -h list_agents "sudo sed -i 's|# client_cert_file=|client_cert_file=\/opt\/cloudera\/security\/x509\/cms.pem.cmagent|g' /etc/cloudera-scm-agent/config.ini"

Step3. 启用 Agent 证书认证

选择 Administration -> Settings；

点击 Security 类目；

配置以下 TLS 属性：

Use TLS Authentication of Agents to Server = TRUE

点击 Save changes；

Step4. 重启 Cloudera Server 和 Agents

sudo /opt/cm-5.8.2/etc/init.d/cloudera-scm-server restart
pssh -h list_agents "sudo /bin/systemctl restart cloudera-scm-agent"

Step5. 验证加密是否生效

在 Cloudera Manager Admin Console，打开 Hosts 页面。如果 Agent 心跳正常，则说明TLS 加密正常工作。

Step by Step 实现基于 Cloudera 5.8.2

Clouder Manager 组件传输层加密

TLS 0: 启用Cloudera Manager Admin Console 加密

Step1. 生成并创建自签名证书

Step2. 启动 Admin Console 的 HTTPS 加密访问

Step3. 为 Cloudera Management Services 设置SSL

Step4. 重启服务

Step5. 验证加密是否生效

TLS 1: 为 Cloudera Agent 配置 TLS 加密

TLS 2: 在Cloudera Agent 上启用服务器的证书认证

TLS 3: 启用服务端对客户端的证书认证

Step1. 在所有节点上操作，每个节点的目录存放自己的 P12 格式证书、密钥和密钥密码

Step2. 将 Agent 配置为使用私钥和证书

Step3. 启用 Agent 证书认证

Step4. 重启 Cloudera Server 和 Agents

Step5. 验证加密是否生效

猜你喜欢

热点阅读