消息队列

概述

消息队列中间件是分布式系统中的重要组件，主要实现异步消息，应用解耦，流量削峰和消息通讯等功能。实现高性能，高可用，可伸缩和最终一致性架构。
消息队列中间件（Message Queue Middleware）是指利用高效可靠的消息传递机制，进行与平台无关的数据交流，并给予数据通信来进行分布式系统的集成。通过提供消息传递和消息队列模型，它可以在分布式环境下扩展进程间的通信。
MQ提供基于存储和转发的应用程序之间的异步数据发送。是有保存的消息发送，无需了解远程过程调用（RPC）和网络通信协议的细节。
消息中间件适用于需要可靠的数据传送的分布式环境。MQ能在不同平台之间通信，可以屏蔽各种平台及协议之间的特性，实现应用程序之间的协同，其优点在于能够在客户与服务器之间提供同步和异步的连接，并且在任何时刻都可以将消息进行传送或存储转发，这也是它比RPC更好的地方。
目前使用较多的消息队列有RabbitMQ，Kafka，RocketMQ等。

作用

• 系统解耦（解决不同重要程度、能力级别的系统之间依赖导致一死全死）
• 异步通信
• 削峰填谷 （解决瞬时写压力大于应用服务能力而导致的消息丢失、系统崩溃等问题）

Kafka

topic、partition、replica、offset、checkpointing、leader、follower、ISR、零拷贝、epoll、selector、consumer group、coordinator、rebalance、reactor、ack

RabbitMQ

AMQP、排他队列、vhost、exchange、bindingKey、routingKey、push&pull、mandatory、备份交换器、镜像队列、死信队列、autoAck、ttl、事务机制、生产者确认、QoS、流控、网络分区

1. 生产消费关系

• Point/Point
• Publish/Subscribe

2. 优先级
3. 排序
4. 过滤

• Broker端消息过滤
• Consumer端消息过滤

5. 持久化
6. 可用性
7. 回溯消费
8. 分布式事务
9. 定时消息
10. 消息重试
11. 消费方式

• 集群消费
• 广播消费

对于平台各个系统之间的异步交互，是通过MQ组件进行的。

在设计消息服务组件时，需要考虑消息一致性、持久化、可用性、以及完善的监控体系。
RabbitMQ遵循AMQP协议，由内在高并发的erlanng语言开发；
kafka是Linkedin于2010年12月份开源的消息发布订阅系统，主要用于处理活跃的流式数据，大数据量的数据处理上。对消息一致性要求比较高的场合需要有应答确认机制，包括生产消息和消费消息的过程；不过因网络等原理导致的应答缺失，可能会导致消息的重复，这个可以在业务层次根据幂等性进行判断过滤；RabbitMQ采用的是这种方式。还有一种机制是消费端从broker拉取消息时带上LSN号，从broker中某个LSN点批量拉取消息，这样无须应答机制，kafka分布式消息中间件就是这种方式。
LSN 日志序列编号？
RabbitMQ解决方案中有普通的集群和可用性更高的mirror queue方式。 kafka采用zookeeper对集群中的broker、consumer进行管理，可以注册topic到zookeeper上；通过zookeeper的协调机制，producer保存对应topic的broker信息，可以随机或者轮询发送到broker上；并且producer可以基于语义指定分片，消息发送到broker的某分片上。

高级消息队列协议（AMQP）是一个应用层协议规范。作为线路层协议，而不是API（例如JMS）。

AMQP是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。AMQP协议用在对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求在其次。

队列是一个先进先出的数据结构。

JNDI：Java命名和目录接口，是一种标准的Java命名系统接口。可以在网络上查找和访问服务。通过指定一个资源名称，该名称对应数据库或命名服务中的一个记录，同时返回资源连接建立所必须的信息。
JNDI在JMS中起到查找和访问发送目标或消息来源的作用。

应用场景

异步处理

场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有下面两种。
（1）串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端。
（2）并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成后，返回给客户端。与串行的差别是，并行的方式可以提高处理的时间。
假设三个业务节点每个使用50毫秒钟，不考虑网络等其他开销，则串行方式的时间是150毫秒，并行的时间可能是100毫秒。
因为CPU在单位时间内处理的请求数是一定的，假设CPU在1秒内吞吐量是100次。则串行方式1秒内CPU可处理的请求量是7次（1000/150）。并行方式处理的请求量是10次（1000/100）。
小结：如以上案例描述，采用传统方式的系统性能（并发量，吞吐量，响应时间）会有瓶颈。如何解决这个问题呢？
引入消息队列，将不是必须的业务逻辑，异步处理。
按照以上约定，用户的响应时间相当于是注册信息写入数据库的时间，也就是50毫秒。注册邮件，发送短信写入消息队列后，直接返回，因为写入消息队列的速度很快，基本可以忽略，因此用户的响应时间可能是50毫秒。因此架构改变后，系统的吞吐量提高到每秒20 QPS。比串行提高了3倍，比并行提高了两倍。

应用解耦

场景说明：用户下单后，订单系统需要通知库存系统。传统的做法是，订单系统调用库存系统的接口。
传统模式的缺点：
1） 假如库存系统无法访问，则订单减库存将失败，从而导致订单失败；
2） 订单系统与库存系统耦合；
如何解决以上问题呢？引入应用消息队列后的方案，
订单系统：用户下单后，订单系统完成持久化处理，将消息写入消息队列，返回用户订单下单成功。
库存系统：订阅下单的消息，采用拉/推的方式，获取下单信息，库存系统根据下单信息，进行库存操作。
假如：在下单时库存系统如果不能正常使用，也不影响正常下单。实现订单系统与库存系统的应用解耦。

流量削峰

流量削锋也是消息队列中的常用场景，一般在秒杀或团抢活动中使用广泛。
应用场景：秒杀活动，一般会因为流量过大，导致流量暴增，应用挂掉。为解决这个问题，一般需要在应用前端加入消息队列。

1. 可以控制活动的人数；
2. 可以缓解短时间内高流量压垮应用；
3. 用户的请求，服务器接收后，首先写入消息队列。假如消息队列长度超过最大数量，则直接抛弃用户请求或跳转到错误页面；
4. 秒杀业务根据消息队列中的请求信息，再做后续处理。

消息通讯

消息通讯是指，消息队列一般都内置了高效的通信机制，因此可以用在纯的消息通讯。比如实现点对点消息队列，或者聊天室等。
点对点通讯：
客户端A和客户端B使用同一队列，进行消息通讯。
聊天室通讯：
客户端A，客户端B，客户端N订阅同一主题，进行消息发布和接收。实现类似聊天室效果。
以上实际是消息队列的两种消息模式，点对点或发布订阅模式。

JMS消息服务

JMS（JAVA Message Service, java消息服务）API是一个消息服务的标准/规范，允许应用程序组件基于JavaEE平台创建、发送、接收和读取消息。它使分布式通信耦合度更低，消息服务更加可靠以及异步性。

消息模型

在JMS标准中，有两种消息模型P2P（Point toPoint）,Publish/Subscribe(Pub/Sub)。

P2P模式

P2P的特点：
每个消息只有一个消费者（Consumer）(即一旦被消费，消息就不再在消息队列中)
发送者和接收者之间在时间上没有依赖性，也就是说当发送者发送了消息之后，不管接收者有没有正在运行，它不会影响到送到队消息被发列，接收者在成功接收消息之后需向队列应答成功，如果希望发送的每个消息都会被成功处理的话，那么需要P2P模式。

Pub/Sub模式

包含三个角色：主题（Topic），发布者（Publisher），订阅者（Subscriber） 。
Pub/Sub的特点：
每个消息可以有多个消费者。
消息消费
在JMS中，消息的生产和消费都是异步的。对于消费来说，JMS的消息者可以通过两种方式来消费消息。
（1）同步
订阅者或接收者通过receive方法来接收消息，receive方法在接收到消息之前（或超时之前）将一直阻塞；
（2）异步
订阅者或接收者可以注册为一个消息监听器。当消息到达之后，系统自动调用监听器的onMessage方法。

参考资料

（1）Jms
http://blog.sina.com.cn/s/blog_3fba24680100r777.html
http://blog.csdn.net/jiuqiyuliang/article/details/46701559（深入浅出
JMS(一)--JMS基本概念）
（2）RabbitMQ
http://blog.csdn.net/sun305355024sun/article/details/41913105
（4）Kafka
http://www.infoq.com/cn/articles/apache-kafka/
http://www.mincoder.com/article/3942.shtml