RabbitMQ实战指南-朱忠华-电子工业出版社

RabbitMQ简介

消息中间件的作用：

• 解耦
• 冗余（存储）
• 拓展性
• 削峰
• 可恢复性：处理消息的机器宕机之后，消息中间件可以存储消息
• 顺序保证
• 缓冲
• 异步通信：消息中间件可以延迟消费

RabbitMQ具体特点：

• 可靠性：消息确认发布、传输确认，持久化
• 灵活的路由
• 拓展性：可以拓展为集群
• 高可用：可以设置队列镜像，单一RabbitMQ挂机后，有镜像提供服务
• 多种协议
• 多语言客户端
• 管理界面
• 插件机制

RabbitMQ入门

GurFP0.png

RabbitMQ的模型架构如图，生产者Publisher通过TCP连接Connnection与RabbitMQ服务器Broker连接，每个Connection中有多个Channel。Broker服务器中有多个Virtual Host，每个Virtual Host各自独立。Publisher发布消息Message到Exchange交换器，Message包含label(路由键)+payload(消息体)，Binding上带有绑定键，交换器根据自身性质和路由键和绑定键决定将消息投递到哪里。最终消息被保存在Queue队列中，Consumer监听队列获得消息。

注意：

• 生产者将消息传到交换器后，交换器根据自身交换器类型和路由键、绑定键决定消息投递的方向。
• 只有队列能存储消息，消息到达队列时已没有label了，只剩下消息体
• 当多个Consumer连接到同一个队列时，队列上的消息将轮询发给每个Consumer而不是每个消息复制多份发给每个Consumer，即每个消息只能被成功消费一次

AMQP协议

Gu27y6.png

如上图，AMQP协议每次发送数据时的指令。

客户端开发向导

本章讲了RabbitMQ Java客户端的开发，只摘录我的部分理解在此。

创建RabbitMQ各个组件时可以有不同的参数。

• Exchange交换器：type类型、durable是否持久化(持久化的Exchange重启时不会消失)，autoDelete自动删除(当Exchange所绑定的queue都删除后，自动删除Exchange，默认不自动删除)，internal是否内置(若是，客户端程序无法发信息到此交换器，只有交换器能发到此交换器)
• queue队列：durable是否持久化、exclusive排他(同Connection可见，其他Conntection不能创建同名队列，Connection断掉自动删除)、autoDelete自动删除(有消费者订阅过此队列，之后所有消费者取消订阅，则删除，生产者创建队列后无客户端连接是不会删除的)

RabbitMQ的消息存储在队列中，交换器的使用并不真正耗费服务器的性能，而队列会。衡量RabbitMQ的QPS只需看队列即可。

• 消息投递模式：发送消息处理指明交换器和路由键，还可以指定消息的一些属性，如投递模式为2时，消息可持久化。可以设置消息的优先级。
• 消费消息：有两种模式，推模式Push和拉模式pull。消费消息时可以设置是否自动确认。当然，消息发送方也可以设置发送确认，RabbitMQ的exchange收到消息时可以回调发送方设置的监听。

消费端的确认和拒绝：消息订阅有推和拉两种模式，订阅时可以设置是否自动确认，自动确认的消息在RabbitMQ将消息发出时移除，非自动确认的消息需要客户端手动确认。也可以拒绝该消息，拒绝时传递一个requeue参数，可以设置是否将该消息重洗入队等待发送，或者将其移除。

RabbitMQ进阶

本章讲的是RabbitMQ的高级功能。

• 交换器的属性：
  • mandatory属性为true时，交换器如果找不到消息的路由，会将消息返回生产者，为false则丢弃
  • immediate参数为true时，当路由器发现队列中不存在任何消费者，则不投递到该队列。若所有队列都无消费者，则将消息返回生产者。RabbitMQ 3.0去掉了该属性。

备份交换器AE：

• 当mandatory为true时，无法路由的消息会返回生产者，为false时，无法路由的消息会被丢弃。除了这两者，还可以为交换器设置备份交换器，当消息无法路由时，会发送到备份交换器，备份交换器和mandatory一起使用，该参数无效。

过期时间TTL

• 过期时间可以设置在队列，也可以单独设置在消息。一旦消息过期，就会变成“死信”。对于设置队列的TTL，一旦消息过期则从队列中抹去，而对于单独设置TTL的消息，过期后不会马上抹去，而是在消息投递给消费者之前判断的。

死信交互器DLX(也称死信队列)：

• 当消息变为死信之后，他能被发送到死信交换器。
• TTL和DLX可以做延时队列

GtcFsg.png

持久化，RabbitMQ分为三部分：

• 交换器持久化：交换器不持久化的话，重启后元数据丢失，但消息不会丢失，因为消息存在队列中
• 队列持久化：队列不持久化的话，重启后队列会消失，消息也消失
• 消息持久化：如果消息不持久化，那么重启时消息会丢失，队列持久化只能保证队列的元数据不丢失，不能保证消息不丢失。

消息的可靠性：

• 生产者确认：默认情况下，生产者发送消息后不知道消息是否到达了RabbtMQ服务器。可以通过两种方式确认
  • 事务机制：如channel.txSelect将channel设置为事务模式，每次发送消息前都需要发送事务指令，严重影响性能
  • 发送方确认：类似tcp批量确认，每个消息都编号，RabbitMQ会确认一个序号表示这个序号之前的消息都已确认。相比上面的事务机制，这里是异步的，而事务是同步确认每一条消息的。
  • 当然，生产者确认只能保证消息传递到了服务器的交换器。如果消息没有匹配的队列，那么消息也会丢失，发送方可以配合mandatory参数或备份交换器解决没有匹配队列时的处理方式。
• 消费端要点：默认队列中的消息会轮询分发到订阅同一队列的消费者，RabbitMQ并不管消费者是否确认了该消息，这会造成性能差的服务器处理过慢。可以使用channel.basicQos设定每个消费者最多持有未确认的消息数量，这种机制类似tcp的滑动窗口，这种机制对于拉模式的消息消费无效。
  • 消息顺序性：消息的顺序性是从存入队列是开始的，不能认为是从生产者发送时开始的，因为有网络抖动。
  • 消息传输保障：
    • 最多一次：生产者随意发送，消费者随意消费
    • 最少一次：生产者开启发送确认，生产者需要使用mandatory参数或备份交换器确保消息无法路由时能保存到队列。消息和队列都需要进行持久化。消费者需要手动确认消息。
    • 恰好一次：无法保证消息恰好一次被消费，因为网络原因，消费者消费之后发送确认消息时刚好网络断开，连接重新建立时消费者会重新消费到消息。RabbitMQ无法保证恰好一次，不仅RabbitMQ目前大多数主流的中间件都无法保证恰好一次。

RabbitMQ管理

RabbitMQ的应用工具：

• rabbitmqctl：命令行工具
• rabbitmq_management插件：图形化插件

多租户与权限

• 添加vhost：rabbitmqctl add_vhost myhost
• 显示vhost：rabbitmqctl list_vhosts
• 删除vhost：rabbitmqctl delete_host myhost
• 权限配置到vhost：rabbitmqctl set_permissions [-p vhost] {user} {conf} {write} {read}，如授予root用户可访问虚拟主机myhost并具备所有权限
  rabbitmqctl set_permissions -p myhost root ".*" ".*" ".*"
• 清除权限：rabbitmqctl clear_permissions [-p vhost] {user}
• 查看权限：rabbitmqctl list_user_permissions {user}

用户管理

• 创建用户：rabbitmqctl add_user {username} {password}
• 改密码：rabbitmqctl change_password {username} {password}
• 清除密码：rabbitmqctl clear_password {username} {password}
• 验证密码：rabbitmqctl authenticate_user {username} {password}
• 删除用户：rabbitmqctl delete_user {username}
• 查看用户：rabbitmqctl list_users
• 设置角色：rabbitmqctl set_user_tags {username} {tags...}

用户分为五种角色：

• none：无任何角色，新创建的用户默认为none角色
• management：可以访问web管理页面
• policymaker：包含management的所有权限，并可以管理策略和参数
• monitoring：包含management的所有权限，并可以看到所有连接、信道和结点
• administrator：管理员

web端管理

• 启动插件命令：rabbitmq-plugins enable rabbitmq_management
• 查看插件使用情况：rabbitmq-plugins list

应用与集群管理

• 停止服务：rabbitmqctl stop，rabbitmqctl stop_app，rabbitmqctl shutdown
• 重置：rabbitmqctl reset还原rabbitmq到最初状态

vhost、权限等都可以使用rabbitmqctl来创建，但交换器、队列和绑定关系却无法用rabbitmqctl来创建，只能通过web管理界面创建。然而，rabbitmq management还提供了命令行rabbitmqadmin来解决这个问题。如查看队列中的消息

rabbitmqadmin get queue=myqueue

rabbitmq management还提供了http api接口来方便调用。如创建一个队列，可以使用PUT方法调用/api/queues/vhost/name接口来实现。

RabbitMQ配置

三种方式配置：

• 环境变量：如RABBITMQ_NODENAME=rabbit@node2 rabbitmq-server -detached，环境变量也可配置在RABBITMQ_HOME/etc/rabbitmq/rabbitmq-env.conf中
• 配置文件：配置文件位于/opt/rabbitmq/etc/rabbitmq/rabbitmq.config
• 运行时参数和策略：可以通过rabbitmqctl或management插件提供的http api来设置，如rabbitmqctl set_parameter

RabbitMQ运维

本章主要将集群的搭建和运维

跨越集群的界限

RabbitMQ可以通过3种方式实现分布式部署：

• 集群
• Federation：该插件的目的是使RabbitMQ在不同的Broker结点之间进行消息通信而无需创建集群
• Shovel：该插件能够可靠、持续地从一个Broker中的队列拉取数据并转发至另一个Broker中的交换器。

RabbitMQ高阶

本章是将RabbitMQ的内部原理的，需要熟悉

流控

RabbitMQ可以对内存和磁盘使用量设置阈值，达到阈值后，生产者将阻塞。这是全局流控，面向所有连接的。当然RabbitMQ也可以面向单个Connection进行流控。

RabbitMQ使用一种基于信用证算法的流控机制来限制发送消息的速率。

镜像队列

生产者发送消息时，会将消息都发送到各个slave，除发送消息外的所有动作都只会向master发送，然后再由master将命令执行的结果广播给各个slave。

网络分区

在局域网环境下，网络设备出现故障时也会导致网络分区。当出现网络分区时，不同分区里的结点会认为不属于自身所在分区的结点都已经挂了。如果原集群中配置了镜像队列，每个网络分区中都会出现一个master结点。

RabbitMQ拓展

消息追踪：Firehose

负载均衡：轮询、加权轮询、随机、加权随机、源地址哈希、最小连接数

使用HAProxy实现负载均衡

使用Keepalived实现高考可靠负载均衡

使用keepalived+LVS实现负载均衡