数据同步

StreamSets安装配置

2018-08-23  本文已影响0人  龟龟51

1.1.安装前准备

到StreamSets官网提供的下载址:https://archives.streamsets.com/index.html

下载以下文件:这里下载使用的是 3.0版本

1.manifest.json 文件

2.STREAMSETS_DATACOLLECTOR-3.0.0.0-el7.parcel文件(比较大约4G左右,包含比较完整的插件)

3.STREAMSETS-3.0.0.0.jar

1.2.配置本地Parcel包

将下载的manifest.json和 STREAMSETS_DATACOLLECTOR-3.0.0.0-el7.parcel,放在一个新建文件夹StreamSets3.0中,并移动到/var/www/html 目录中,做离线包的下载地址,用浏览器访问如下,表示成功

1.3.配置CSD

将STREAMSETS-3.0.0.0.jar拷贝到/opt/cloudera/csd,并更改权限,然后重启cloudera-scm-server服务

[root@cdh4 ~]# cp STREAMSETS-3.0.0.0.jar /opt/cloudera/csd

[root@cdh4 csd]# sudo chown cloudera-scm:cloudera-scm STREAMSETS-3.0.0.0.jar && sudo chmod 644 STREAMSETS-3.0.0.0.jar

[root@cdh4 ~]# systemctl restart cloudera-scm-server

1.4.下载分发激活Parcel包

在CM界面中点击Parcel > 配置 > 添加StreamSets的Parcel包路径,并保持修改

并下载分发和激活(本文档省略该步骤,直接查看激活后的状态)

1.5.添加StreamSets服务

完成上述步骤后,在集群 > 添加服务 中添加StreamSets 的服务

选择StreamSets安装

选择一个DataCollector 节点,默认配置,继续等待安装和启动完成

1.6重启

安装完成之后,配置发生更改需要重启一下集群。

1.7安装成功

在集群界面可以看到

1.8StreamSets登录

点击 StreamSets > Data Collector WebUI访问

上一篇 下一篇

猜你喜欢

热点阅读