基于 CDH6.1 的 Kafka 安装过程

1．基于 CDH 版本选择安装

（1）登录 CM 控制台，选择“添加服务”

（2）选择需要安装的 Kafka 组件

点击“继续”进入：

（3）创建 KafkaBroker 节点

Kafka MirrorMaker 和 Gateway，先默认不选 点击“继续”

（4）设置 KafkaBroker 配置

在 Kafka 配置文件中配置 broker 在 zookeeper 中的地址 将“zookeeper.chroot”修改为“/kafka”，如下图。即 broker 信息保存在 zookeeper 的/kafka 目录下

设置 Data Directories log dirs：/var/local/kafka/data Java Heap 设置为 512M 或 1G;

完成即可

（5）查看启动 Kafka 服务情况：

服务正常启动，安装完成

2．基于 parcel 包离线安装

首先，我们需要去对应网站下载 cdh 版本支持的 kafka 的相关包。 下载的链接如下：Index of kafka/parcels/4.1.0.4/ 这个网址下载你需要的 kafka 的 parcel 包和 csd 包

（1）kafka 相关包准备

csd 包:http://archive.cloudera.com/csds/kafka/

parcel 包: http://archive.cloudera.com/kafka/parcels/latest/ ( 根据 自己的集群的系统版本下载 )

选择需要安装的 Kafka 版本，我的虚拟机是 Centos7 的，下载对应的版本。 将 parcel 包下的文件放到 cm 安装节点下的/opt/cloudera/parcel-repo 目录下 面。

（2）集群实现

 关闭集群,关闭 cm 服务( 假如不关闭 cm 服务,会出现在添加 kafka 服务 时找不到相关的服务描述 )；

 将 csd 包放到 cm 安装节点下的 /opt/cloudera/csd 目录下,如图 :

将 parcel 包放到 cm 安装节点下的 /opt/cloudera/parcel-repo 目录下, 如图:

启动 cm 服务,分配并激活 percel 包

点进去，检查更新 parcel，分配并激活

（3）登录 CM 控制台，选择“添加服务

（4）选择需要安装的 Kafka 组件

点击“继续”进入：

（5）创建 KafkaBroker 节点

Kafka MirrorMaker 和 Gateway，先默认不选 点击“继续”

（6）设置 KafkaBroker 配置

在 Kafka 配置文件中配置 broker 在 zookeeper 中的地址 将“zookeeper.chroot”修改为“/kafka”，如下图。即 broker 信息保存在 zookeeper 的/kafka 目录下

设置 Data Directories log dirs：/var/local/kafka/data Java Heap 设置为 512M 或 1G; 完成即可

（7）查看启动 Kafka 服务情况：

服务正常启动，安装完成