CDH6.2.1在线安装

采用Cloudera官方建议的安装方式，即Cloudera Manager使用rpm的方式安装，CDH使用Parcel方式安装。

首先不使用root用户，创建sudoer权限的普通用户，并配置无密登录。
配置/etc/sudoers文件，添加
hadoop ALL=(ALL) NOPASSWD: ALL

• 安装前的准备：https://docs.cloudera.com/documentation/enterprise/latest/topics/installation_reqts.html

• 使用在线安装方式，按照官网教程7步走。（不使用TLS加密）
  https://docs.cloudera.com/documentation/enterprise/latest/topics/install_cm_cdh.html

安装源

sudo wget https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/

sudo rpm --import https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPM-GPG-KEY-cloudera

部署cm server及agent

sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server -y

创建CDH的元数据库和用户,并初始化Cloudera Manager Service的元数据

sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

启动CM服务，进入webUI界面

启动cm
sudo systemctl start cloudera-scm-server

查看日志
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

自定义安装大数据组件

服务

进行审核更改并安装

安装

安装成功

成功

常见问题

• Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良

cat /proc/sys/vm/swappiness
临时修改
sysctl -w vm.swappiness=0
永久修改
echo "vm.swappiness=0" >> /etc/sysctl.conf

• 已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置

临时修改
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久修改
vi /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
chmod +x /etc/rc.d/rc.local