【转】RabbitMQ六种队列模式-2.工作队列模式
前言
RabbitMQ六種隊列模式-簡單隊列
RabbitMQ六種隊列模式-工作隊列?[本文]
RabbitMQ六種隊列模式-發布訂閱
RabbitMQ六種隊列模式-路由模式
RabbitMQ六種隊列模式-主題模式
上文我們了解了 RabbitMQ 六種隊列模式中的簡單隊列,代碼也是非常的簡單,比較容易理解。
但是簡單隊列有個缺點,簡單隊列是一一對應的關系,即點對點,一個生產者對應一個消費者,按照這個邏輯,如果我們有一些比較耗時的任務,也就意味著需要大量的時間才能處理完畢,顯然簡單隊列模式并不能滿足我們的工作需求,我們今天再來看看工作隊列。
文章目錄
1. 什么是工作隊列2. 代碼部分2.1 生產者2.2 消費者3. 循環分發3.1 啟動生產者3.2 啟動兩個消費者3.3 公平分發4. 消息持久化4.1 問題背景4.2 參數配置5. 工作隊列總結
1. 什么是工作隊列
工作隊列:用來將耗時的任務分發給多個消費者(工作者)
主要解決問題:處理資源密集型任務,并且還要等他完成。有了工作隊列,我們就可以將具體的工作放到后面去做,將工作封裝為一個消息,發送到隊列中,一個工作進程就可以取出消息并完成工作。如果啟動了多個工作進程,那么工作就可以在多個進程間共享。
工作隊列也稱為公平性隊列模式,怎么個說法呢?
循環分發,假如我們擁有兩個消費者,默認情況下,RabbitMQ 將按順序將每條消息發送給下一個消費者,平均而言,每個消費者將獲得相同數量的消息,這種分發消息的方式稱為輪詢。
看代碼吧。
2. 代碼部分
2.1 生產者
創建50個消息
public?class?Producer2?{/**?隊列名稱?*/private?static?final?String?QUEUE_NAME?=?"test_queue";public?static?void?main(String[]?args)?throws?IOException,?TimeoutException?{/**?1.獲取連接?*/Connection?newConnection?=?MQConnectionUtils.newConnection();/**?2.創建通道?*/Channel?channel?=?newConnection.createChannel();/**3.創建隊列聲明?*/channel.queueDeclare(QUEUE_NAME,?false,?false,?false,?null);/**保證一次只分發一次?限制發送給同一個消費者?不得超過一條消息?*/channel.basicQos(1);for?(int?i?=?1;?i?<=?50;?i++)?{String?msg?=?"生產者消息_"?+?i;System.out.println("生產者發送消息:"?+?msg);/**4.發送消息?*/channel.basicPublish("",?QUEUE_NAME,?null,?msg.getBytes());}channel.close();newConnection.close();}}2.2 消費者
public?class?Customer2_1?{/***?隊列名稱*/private?static?final?String?QUEUE_NAME?=?"test_queue";public?static?void?main(String[]?args)?throws?IOException,?TimeoutException?{System.out.println("001");/**?1.獲取連接?*/Connection?newConnection?=?MQConnectionUtils.newConnection();/**?2.獲取通道?*/final?Channel?channel?=?newConnection.createChannel();channel.queueDeclare(QUEUE_NAME,?false,?false,?false,?null);/**?保證一次只分發一次?限制發送給同一個消費者?不得超過一條消息?*/channel.basicQos(1);DefaultConsumer?defaultConsumer?=?new?DefaultConsumer(channel)?{@Overridepublic?void?handleDelivery(String?consumerTag,?Envelope?envelope,?AMQP.BasicProperties?properties,?byte[]?body)throws?IOException?{String?msgString?=?new?String(body,?"UTF-8");System.out.println("消費者獲取消息:"?+?msgString);try?{Thread.sleep(1000);}?catch?(Exception?e)?{}?finally?{/**?手動回執消息?*/channel.basicAck(envelope.getDeliveryTag(),?false);}}};/**?3.監聽隊列?*/channel.basicConsume(QUEUE_NAME,?false,?defaultConsumer);}}3. 循環分發
3.1 啟動生產者
3.2 啟動兩個消費者
在生產者中我們發送了50條消息進入隊列,而上方消費者啟動圖里很明顯的看到輪詢的效果,就是每個消費者會分到相同的隊列任務。
3.3 公平分發
由于上方模擬的是非常簡單的消息隊列的消費,假如有一些非常耗時的任務,某個消費者在緩慢地進行處理,而另一個消費者則空閑,顯然是非常消耗資源的。
再舉一個例子,一個1年的程序員,跟一個3年的程序員,分配相同的任務量,明顯3年的程序員處理起來更加得心應手,很快就無所事事了,但是3年的程序員拿著非常高的薪資!顯然3年的程序員應該承擔更多的責任,那怎么辦呢?
公平分發。
其實發生上述問題的原因是 RabbitMQ 收到消息后就立即分發出去,而沒有確認各個工作者未返回確認的消息數量,類似于TCP/UDP中的UDP,面向無連接。
因此我們可以使用 basicQos 方法,并將參數 prefetchCount 設為1,告訴 RabbitMQ 我每次值處理一條消息,你要等我處理完了再分給我下一個。這樣 RabbitMQ 就不會輪流分發了,而是尋找空閑的工作者進行分發。
關鍵性代碼:
/**?2.獲取通道?*/ final?Channel?channel?=?newConnection.createChannel(); channel.queueDeclare(QUEUE_NAME,?false,?false,?false,?null); /**?保證一次只分發一次?限制發送給同一個消費者?不得超過一條消息?*/ channel.basicQos(1);4. 消息持久化
4.1 問題背景
上邊我們提到的公平分發是由消費者收取消息時確認解決的,但是這里面又會出現被 kill 的情況。
當有多個消費者同時收取消息,且每個消費者在接收消息的同時,還要處理其它的事情,且會消耗很長的時間。在此過程中可能會出現一些意外,比如消息接收到一半的時候,一個消費者死掉了。
這種情況要使用消息接收確認機制,可以執行上次宕機的消費者沒有完成的事情。
但是在默認情況下,我們程序創建的消息隊列以及存放在隊列里面的消息,都是非持久化的。當RabbitMQ死掉了或者重啟了,上次創建的隊列、消息都不會保存。
怎么辦呢?
4.2 參數配置
參數配置一:生產者創建隊列聲明時,修改第二個參數為 true
/**3.創建隊列聲明?*/ channel.queueDeclare(QUEUE_NAME,?true,?false,?false,?null);參數配置二:生產者發送消息時,修改第三個參數為MessageProperties.PERSISTENT_TEXT_PLAIN
for?(int?i?=?1;?i?<=?50;?i++)?{String?msg?=?"生產者消息_"?+?i;System.out.println("生產者發送消息:"?+?msg);/**4.發送消息?*/channel.basicPublish("",?QUEUE_NAME,?MessageProperties.PERSISTENT_TEXT_PLAIN,?msg.getBytes()); }5. 工作隊列總結
1、循環分發:消費者端在信道上打開消息應答機制,并確保能返回接收消息的確認信息,這樣可以保證消費者發生故障也不會丟失消息。
2、消息持久化:服務器端和客戶端都要指定隊列的持久化和消息的持久化,這樣可以保證RabbitMQ重啟,隊列和消息也不會丟失。
3、公平分發:指定消費者接收的消息個數,避免出現消息均勻推送出現的資源不合理利用的問題。
案例代碼:https://www.lanzous.com/i5ydu6d
總結
以上是生活随笔為你收集整理的【转】RabbitMQ六种队列模式-2.工作队列模式的全部內容,希望文章能夠幫你解決所遇到的問題。
 
                            
                        - 上一篇: 80秒看它爬起来!全国共赏超级月亮:为啥
- 下一篇: 多人被它叮咬死亡:小小的蜱虫 为什么这么
