RabbitMQ for Node 官方文档笔录

2019-06-18  本文已影响0人  陆遥远

Step 1 实现Producer 和 Consumer

Producer
Producer的代码

// new_task.js 每次启动后往队列中发送一条task
var amqp = require('amqplib/callback_api');
amqp.connect('amqp://localhost',function(err,conn){
    conn.createChannel(function(err,ch){
        var q = 'test_queue';
        var msg = 'New Task!';
        ch.assertQueue(q, {durable:true});
        // 发送消息
        ch.sendToQueue(q, new Buffer(msg), {persistent: true});
        console.log('[x]Sent \'%s\'',msg);
    }); 
});

Consumer
Consumer的代码

// worker.js模拟一个消费者,监听并接收MQ分配给自己的task。
var amqp = require('amqplib/callback_api');
amqp.connect('amqp://localhost',function(err,conn){
    conn.createChannel(function(err, ch){
        var q = 'test_queue';
        ch.assertQueue(q, {durable:true});
        // 监听MQ发送的消息,并在calback中处理
        ch.consume(q, function(msg){
            var secs = msg.content.toString().split('.').length -1;
            console.log('[x] Received %s',msg.content.toString());
            // 模拟处理时间
            setTimeout(function(){
                console.log('[x] Done');
            },secs * 1000);
        },{noAck: true});
    });
});

启动步骤

打开多个控制台,启动多个worker.js。
启动多次new_task.js,向MQ中发送多条信息。

结果:每个worker依次接收到任务并打印。

默认情况下,RabbitMQ将按顺序将每条消息发送给下一个消费者。
平均而言,每个消费者将获得相同数量的消息。这种分发消息的方式称为循环法。

问题:在实际应用中,上述程序存在一些问题

每个任务都会消耗一定的时间,这个时间是不确定的。
上面的程序中,当worker领取任务后,消息便会从MQ中弹出,不论是否执行成功。若执行失败,则任务丢失。

解决方案:使用消息确认解决。

Step 2 使用消息确认机制
为了确保消息永不丢失,RabbitMQ支持消息确认

消费者发回ack(acknowledgement)告诉RabbitMQ已收到,处理了特定消息,RabbitMQ可以自由删除它。
如果Consumer死亡(其通道关闭,连接关闭或TCP连接丢失)而不发送ack,RabbitMQ会将该消息重新排队。如果其他消费者同时在线,则会迅速将其重新发送给其他消费者。这样就可以确保没有消息丢失,即使Consumer偶尔会死亡。

实现原理

代码如下
ch.consume(q, function(msg){ 
    // ...do something sync
    setTimeout(function(){
        // ...do something async
        ch.ack(MSG) // 发送ack
    },1000);
 },{noAck: true}); // 开启ack

注意:确认必须在收到的交付的同一信道上发送。尝试使用不同的通道进行确认将导致通道级协议异常。

Step3 消息持久化

// 声明队列时,设置durable属性为true开启队列持久化
ch.assertQueue('hello', {durable: true}); 

开启消息的持久化
// 发送消息时,设置persistent属性为true,让RabbitMQ持久化当前消息
ch.sendToQueue(q, new Buffer(msg), {persistent: true});

有关消息持久化的注意事项

注意:将消息标记为持久性并不能完全保证消息不会丢失。虽然它告诉RabbitMQ将消息保存到磁盘,但是当RabbitMQ接受消息并且尚未保存消息时,仍然有一个短时间窗口期。如果需要更强的保证,那么可以使用 发布者确认。

Step4 公平派遣任务
问题

Consumer(Worker)的代码
// ...imports
amqp.connect('amqp://localhost',function(err,conn){
    conn.createChannel(function(err,ch){
        var q = 'task_queue';
        ch.prefetch(1); // 当有一个任务未完成时,不再接受新任务
        ch.consume(q,function(msg){
            // ...do something 
            setTimeout(()=>{
                // ...do something async
                 ch.ack(MSG); // 确认执行完毕
            },1000);
        },{noAck:false});
    });
});
上一篇下一篇

猜你喜欢

热点阅读