activeMQ+zooKeeper实现高可用性
ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。
ActiveMQ是Apache一款开源的,完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现的消息中间件,用来帮助实现高可用、高性能、可伸缩、 易用和安全的企业级面向消息服务的系统
原理
activeMQ提供了三种高可用性实现方案:
- Shared Nothing Master/Slave
- Shared Database Master/Slave
- Replicated LevelDB Store
从5.9版本之后activeMQ官方推荐采用第三种,因此此文只介绍第三种。
Replicated LevelDB Store.pngReplicated LevelDB Store方案使用Zookeeper选举Master。要进行选举,则需要多数派的“参与者”。因为Replicated LevelDB Store中有多个Broker,从多个Broker中选举出一个成为Master,其他的则成为Slave。只有Master接收Client的连接,Slave负责连接到Master,并接收(同步方式、异步方式)Master上的数据。
比如说:一共有3个Broker,一个Master,二个Slave。当新消息到达Master时,Master需要将消息同步到其中一台Slave之后,才能向Producer发送ACK确认此次消息成功发送。
而剩下的另一台Slave,则可以在后台以异步方式复制这个新消息。此外,还能容忍一台Slave宕机。(能容忍不超过大多数的Broker宕机)
配置
zooKeeper配置文件
确保zooKeeper集群正常工作,安装奇数个(>=3,示例安装3个)zooKeeper,每个zooKeeper配置文件如下:
#zoo.cfg
tickTime=2000 #Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔
initLimit=10 # Zookeeper接受客户端初始化连接时最长能忍受多少个心跳时间间隔数
syncLimit=5 #标识Leader与Follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度
dataDir=/path/to/zookeeper/data #Zookeeper保存数据的目录,默认情况下Zookeeper将写数据的日志文件也保存在这个目录里。
clientPort=2181 #客户端(应用程序)连接Zookeeper服务器的端口,Zookeeper 会监听这个端 口接受客户端的访问请求。
#server.A=B:C:D
#A位数字与myid文件值对应,B服务器地址,C集群成员信息交换端口,D是Leader挂掉后用来选举Leader的端口
server.1=10.0.2.190:2888:3888
server.2=10.0.2.195:2888:3888
server.3=10.0.2.199:2888:3888
zooKeeper安装过程
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz #下载zookeeper,如果下载不了请移步官网
tar zxvf zookeeper-3.4.9.tar.gz #解压
mv zookeeper-3.4.9 zookeeper #重命名
cd zookeeper
mkdir data # 创建zookeeper数据储存文件夹
cd conf
cp zoo_sample_cfg zoo.cfg #创建zoo.cfg配置文件,并按照上述zoo.cfg配置
cd data
echo "1" > myid #data文件夹下创建myid文件,如:zoo.cfg中配置server.1=10.0.2.190:2888:3888,则10.0.2.190的zooKeeper的myid值是1
activeMQ配置
#conf/activemq.xml
<persistenceAdapter>
<replicatedLevelDB
directory="${activemq.data}/leveldb" #存储数据的路径
replicas="3" #集群中的节点数[(replicas/2)+1公式表示集群中至少要正常运行的服务数量], 即3台集群保证两台要正常运行
bind="tcp://0.0.0.0:0" #这个节点成为Master,它会绑定配置好的地址和端口来履行主从复制协议
zkAddress="10.0.2.190:2181,10.0.2.195:2181,10.0.2.199:2181" #ZooKeeper的ip和port
zkPassword="password" #当连接到ZooKeeper服务器时用的密码
hostname="10.0.2.190" #本机ip或域名
zkPath="/activemq/leveldb-stores" #ZooKeeper选举信息交换的存贮路径
/>
</persistenceAdapter>
activeMQ安装
1.下载activeMQ最新稳定版本,上传到服务器
2.tar zxvf apache-activemq-5.14.0-bin.tar.gz #解压
3.修改配置文件
shell指令
zkServer.sh [start|stop|restart|status] #zooKeeper启动|停止|重启|状态
activemq start #activeMQ启动
测试
根据myid从1-3依次启动zooKeeper,查看zooKeeper集群状态:
follower(2个):
zk_follower.png
leader:
zk_leader.png
分别启动activeMQ,在浏览器地址栏里输入:
- http://10.0.2.190:8161/admin/queues.jsp
- http://10.0.2.195:8161/admin/queues.jsp
-
http://10.0.2.199:8161/admin/queues.jsp
因为使用zookeeper做负载均衡,三台只有一台是master,其他两台处于等待状态,所以只有其中一台提供服务,但一旦这台服务器宕机以后,会有另外一台顶替上来,所以其他几个ip地址是打不开的,只有一台能打开
将当前可以访问的activemq进程干掉,其余两个中的其中一个成为master,即可以访问
客户端集成
java配置activeMQ的连接工厂是,把原有的url改成下述的即可。
url=failover:(tcp://10.0.2.190:61616,tcp://10.0.2.195:61616,tcp://10.0.2.199:61616)?randomize=false