Storm集群的搭建
2018-09-04 本文已影响0人
扣篮的左手
版本1.1.1
解压storm的tar包到指定的目录
然后修改配置文件
yaml配置文件的格式要求
1,大小写敏感;
2,使用缩进代表层级关系;
3,缩进只能使用空格,不能使用TAB,不要求空格个数,只需要相同层级左对齐(一般2个或4个空格)
首先修改zookeeper的地址,然后是nimbus的节点,其中一个是主节点,还有storm本地存储目录,管理界面的端口号。supervisor中进程的端口号,一个端口号对应着一个slot,也就是进程,根据实际需求添加或者减少。
注意短横线和冒号后边有空格
配置好之后分发到其它节点上:
nimbus节点的启动,在storm目录下运行:
nohup bin/storm nimbus >/dev/null 2>&1 &
启动nimbus节点之后启动supervisor,supervisor节点相当于Hadoop中的DataNode节点。
supervisor节点的启动:
nohup bin/storm supervisor >/dev/null 2>&1 &
管理界面也是一个进程需要启动:
nohup bin/storm ui >/dev/null 2>&1 &
启动日志记录进程(每台机器都需要启动):
nohup bin/storm logviewer >/dev/null 2>&1 &
然后其它节点上也启动nimbus和supervisor进程:
注意命令是在storm目录下执行
根据配置文件storm.yaml
中的ui端口号,访问storm的管理界面:
可以看到,之前配置的每个节点上4个slot,3个节点一共12个slot,主节点是node-1,也就是正在使用的Nimbus。