Storm集群搭建

1、下载Storm
Apache官方下载Storm链接为：http://storm.apache.org/downloads.html ,我这里下载的版本为apache-storm-1.1.1.tar.gz

2、解压Storm
tar -zxvf apache-storm-1.1.1.tar.gz
3、修改storm.yaml
修改storm.yaml，主要是修改如下配置

storm.zookeeper.servers:
- "net1"
- "net2"
- "net3"

storm.zookeeper.port: 2181
storm.local.dir: "/usr/local/apache-storm-1.1.1/data"

nimbus.seeds: ["net1"]
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
其中storm.zookeeper.servers，表示Zookeeper集群地址。如果Zookeeper集群使用的不是默认端口，那么还需要配置storm.zookeeper.port。storm.local.dir用于配置Storm存储少量文件的路径。nimbus.seeds用于配置主控节点的地址，可以配置多个。
4、拷贝Storm
scp -r /usr/local/apache-storm-1.1.1/ 节点1:/usr/local/
scp -r /usr/local/apache-storm-1.1.1/ 节点2:/usr/local/
5、配置环境变量并拷贝
vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_111
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.9
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
export STORM_HOME=/usr/local/storm
export PATH=$PATH:$STORM_HOME/bin

scp /ect/profile 节点1:/etc/
scp /ect/profile 节点2:/etc/
同时，我们分别在yyd和yyd主机上执行命令source /etc/profile使环境变量生效
6、启动Storm
主节点 后台运行 nimbus

bin/storm nimbus >/dev/null 2>&1 &
子节点后台运行 supervisor
bin/storm supervisor >/dev/null 2>&1 &
主节点 后台运行 storm ui
storm ui 得要在 nimbus 机子上运行，不能够在 supervisor 机子上运行
bin/storm ui >/dev/null 2>&1 &

提交jar
./storm kill DataFilterTopology
./storm jar /root/dataFilter-jar-with-dependencies.jar com.microvideo.strom.filter.topology.DataFilterTopology DataFilterTopology