MQ的主要特點為解耦、異步、削峰，該文章主要記錄與分享個人在實際項目中的RocketMQ削峰用法，用于減少數(shù)據(jù)庫壓力的業(yè)務(wù)場景，其中RocketMQ的核心組件概念如下：

• Producer：生產(chǎn)發(fā)送消息

• Broker：存儲Producer發(fā)送過來的消息

• Consumer：從Broker拉取消息并進行消費

• NameServer：為Producer或Consumer路由到Broker

其中消費流程有以下幾點是必須注意的：

• RocketMQ的Consumer獲取消息是通過向Broker發(fā)送拉取請求獲取的，而不是由Broker發(fā)送Consumer接收的方式。

• Consumer每次拉取消息時消息都會被均勻分發(fā)到消息隊列再進行傳輸，所以RocketMQ中的很多參數(shù)都是針對隊列而不是Topic的(這個是重點，順便吐槽下源碼的文檔講的真不清晰，很多都需要自己試錯，但Dashboard做得很好)，其中每個Broker消息隊列(ConsumeQueue)的數(shù)量都可以通過RocketMQ DashBoard實時更改調(diào)整。

rocketmq-spring-boot-starter用法簡介

當開發(fā)中需要快速集成RocketMQ時可以考慮使用 rocketmq-spring-boot-starter 搭建RocketMQ的集成環(huán)境，但該框架并不完全具備RocketMQ所有的配置簡化，如需批量消費消息便需要自定義一個DefaultMQPushConsumer bean去消費了。個人在開發(fā)中常用的rocketmq-spring-boot-starter相關(guān)類：

• RocketMQListener接口：消費者都需實現(xiàn)該接口的消費方法onMessage(msg)。

• RocketMQPushConsumerLifecycleListener接口：當@RocketMQMessageListener中的配置不足以滿足我們的需求時，可以實現(xiàn)該接口直接更改消費者類DefaultMQPushConsumer配置

• @RocketMQMessageListener：被該注解標注并實現(xiàn)了接口RocketMQListener的bean為一個消費者并監(jiān)聽指定topic隊列中的消息，該注解中包含消費者的一些常用配置(大部分按默認即可)，一般只需更改consumerGroup(消費組)與topic。RocketMQMessageListener中的屬性配置是可以使用Placeholder(占位符)從配置文件或配置中心獲取的，如下圖：

業(yè)務(wù)案例

有一個點贊業(yè)務(wù)，不限制用戶的點贊數(shù)只需進行記錄(產(chǎn)品需求，開發(fā)提議無效)，當每個用戶都進行x連擊享受數(shù)量猛增的快感時如果數(shù)據(jù)庫都需要進行x個點贊數(shù)據(jù)的插入，數(shù)據(jù)庫毫無疑問會塞死導(dǎo)致崩潰。于是想到可以嘗試下MQ削峰，比如每秒來了5000消息但數(shù)據(jù)庫只能承受2000，那我消費時每次只拉取消費1600就好了，剩下的放在Broker堆積慢慢消費就好。由于之前的消息中心也在用RocketMQ，于是確認使用RocketMQ來進行削峰。

環(huán)境配置

文章例子環(huán)境：1NameServer + 2Broker + 1Consumer

添加maven依賴

<dependency><groupId>org.apache.rocketmq</groupId><artifactId>rocketmq-spring-boot-starter</artifactId> </dependency>

application.yml配置

rocketmq:name-server:?127.0.0.1:9876producer:group:?praise-group server:port:?10000spring:datasource:driver-class-name:?com.mysql.cj.jdbc.Driverusername:?rootpassword:?tigerurl:?jdbc:mysql://localhost:3306/wilson swagger:docket:base-package:?io.rocket.consumer.controller

點贊接口

PraiseRecord(點贊記錄):

@Data public?class?PraiseRecord?implements?Serializable?{private?Long?id;private?Long?uid;private?Long?liveId;private?LocalDateTime?createTime; }

MessageController(簡單的測試接口):

RestController @RequestMapping("/message") public?class?MessageController?{@Resourceprivate?RocketMQTemplate?rocketMQTemplate;@PostMapping("/praise")public?ServerResponse?praise(@RequestBody?PraiseRecordVO?vo)?{rocketMQTemplate.sendOneWay(RocketConstant.Topic.PRAISE_TOPIC,?MessageBuilder.withPayload(vo).build());return?ServerResponse.success();}//?......}

由于用戶可以連續(xù)點贊，所以考慮可以在點贊消息的處理上寬松一點(容許消息丟失)以追求更高的性能，因此選擇使用sendOneyWay()進行消息發(fā)送。

RocketMQ的消息發(fā)送方式主要含syncSend()同步發(fā)送、asyncSend()異步發(fā)送、sendOneWay()三種方式，sendOneWay()也是異步發(fā)送，區(qū)別在于不需等待Broker返回確認，所以可能會存在信息丟失的狀況，但吞吐量更高，具體需根據(jù)業(yè)務(wù)情況選用。性能：sendOneWay > asyncSend > syncSend RocketMQTemplate的send()方法默認是同步(syncSend)的,更多可看源碼實現(xiàn)。

PraiseListener：點贊消息消費者

@Service @RocketMQMessageListener(topic?=?RocketConstant.Topic.PRAISE_TOPIC,?consumerGroup?=?RocketConstant.ConsumerGroup.PRAISE_CONSUMER) @Slf4j public?class?PraiseListener?implements?RocketMQListener<PraiseRecordVO>,?RocketMQPushConsumerLifecycleListener?{@Resourceprivate?PraiseRecordService?praiseRecordService;@Overridepublic?void?onMessage(PraiseRecordVO?vo)?{praiseRecordService.insert(vo.copyProperties(PraiseRecord::new));}@Overridepublic?void?prepareStart(DefaultMQPushConsumer?consumer)?{//?每次拉取的間隔，單位為毫秒consumer.setPullInterval(2000);//?設(shè)置每次從隊列中拉取的消息數(shù)為16consumer.setPullBatchSize(16);} }

單次pull消息的最大數(shù)目受broker存儲的MessageStoreConfig.maxTransferCountOnMessageInMemory(默認為32)值限制，即若想要消費者從隊列拉取的消息數(shù)大于32有效(pullBatchSize>32)則需更改Broker的啟動參數(shù)maxTransferCountOnMessageInMemory值。在MQ削峰的配置參數(shù)里，以下幾個DefaultMQPushConsumer的參數(shù)是需要注意一下的：

• pullInterval：每次從Broker拉取消息的間隔，單位為毫秒

• pullBatchSize：每次從Broker隊列拉取到的消息數(shù)，該參數(shù)很容易讓人誤解，一開始我以為是每次拉取的消息總數(shù)，但測試過幾次后確認了實質(zhì)上是從每個隊列的拉取數(shù)(源碼上的注釋文檔真的很差，跟沒有一樣)，即Consume每次拉取的消息總數(shù)如下：EachPullTotal=所有Broker上的寫隊列數(shù)和(writeQueueNums=readQueueNums) * pullBatchSize

• consumeMessageBatchMaxSize：每次消費(即將多條消息合并為List消費)的最大消息數(shù)目，默認值為1，rocketmq-spring-boot-starter 目前不支持批量消費(2.1.0版本)

在消費者開始消息消費時會先從各隊列中拉取一條消息進行消費，消費成功后再以每次pullBatchSize的數(shù)目進行拉取。PraiseListener中設(shè)置了每次拉取的間隔為2s，每次從隊列拉取的消息數(shù)為16，在搭建了2master broker且broker上writeQueueNums=readQueueNums=4的環(huán)境下每次拉取的消息理論數(shù)值為16 * 2 * 4 = 128，在第一次從各隊列拉取1條消息(即共8條)后消費成功后會每次就會拉取最多128條消息進行消費，想驗證下的可以把onMessage()的insert()改為log.info("1")然后統(tǒng)計單位秒內(nèi)打印的日志數(shù)是否為128。

根據(jù)以上配置單Conumer情況下每2s理論消費為128，即每2秒數(shù)據(jù)庫新增的點贊數(shù)據(jù)大概為128條左右，有20%偏差都在個人可接受范圍內(nèi)，然后對點贊接口進行簡單壓測1s 2000請求校驗MQ效果，根據(jù)消費配置理論上需要16次拉取即需32s才能消費完，壓測后查看數(shù)據(jù)庫校驗效果：

由上圖可以看出除第一次2s和最后一次2s外數(shù)據(jù)庫每2s的插入數(shù)據(jù)數(shù)和一般都在128附近波動，也用了34s(因第一次拉取數(shù)較少所以比理論多花費一次拉取)消費的偏差大小可能會受每次拉取數(shù)pullBatchSize、Broker上的消息隊列數(shù)、網(wǎng)絡(luò)波動等情況影響，但需要的目的已經(jīng)達到了，我只想把單位時間內(nèi)過多的數(shù)據(jù)庫操作交給MQ做分隔成多個單位時間內(nèi)的小批量操作，消息過多就堆積，當請求峰值過了后直到MQ堆積的消息消費完前數(shù)據(jù)庫的插入數(shù)依舊會與峰值期的插入數(shù)相差不大，達到了MQ削峰填谷的效果。

上線了但消費效率預(yù)估失誤如何動態(tài)更改消費效率 ？

當把拉取數(shù)pullBatchSize設(shè)置Broker的默認最大傳輸值32了，線上又不想重啟Broker更改maxTransferCountOnMessageInMemory參數(shù)，如有2個Broker且queue都為4，那么拉取消費效率才為32 * 2 * 4 = 256，如果想要動態(tài)調(diào)整，可以從Broker數(shù)或Broker隊列數(shù)下手，可以將Broker的writeQueueNums、readQueueNums增大，如都改為8，那么效率就成了32 * 2 * 8 = 512。需要注意的是更改完queues后必須去Dashboard的Topic下的CONSUMER MANAGER查看新增的隊列上是否都有Consumer成功注冊上去了，因為遇到了在測試與生產(chǎn)上使用rocketmq-spring-boot-starter @RocketMQListener標注消費者不會自動注冊到新隊列上的情況，但沒排除是不是RocketMQ版本的原因(個人本地的版本比環(huán)境上的高了一個小版本0.0.1，本地沒出現(xiàn)沒消費者注冊到新隊列上的問題)，而是使用了自定義DefaultMQPushConsumer bean(原生的方式都是沒有問題的)的備用方案。當再啟動新的消費者應(yīng)用時CONSUMER MANAGER(下圖)中就會出現(xiàn) 新Consumer數(shù) * 各Broker隊列數(shù)和的隊列行。

如何使用RocketMQ批量消費 ？

雖然點贊業(yè)務(wù)使用MQ單條插入后TPS已經(jīng)達到當前業(yè)務(wù)指標要求了，但考慮到如果后續(xù)要求在不添加機器數(shù)的情況下增加TPS，且數(shù)據(jù)量還沒到分庫分表的程度，個人就打算從批量消費下手，由一次插入一條點贊記錄改為一次性插入多條(insertBatch)。當然能滿足現(xiàn)有需求能不做肯定不做的，過度優(yōu)化過分礙事，但想多點方案不會壞事。rocketmq-spring-boot-starter并沒有提供批量消費的功能，所以要批量消費消息需要自定義DefaultMQPushConsumer并配置其consumeMessageBatchMaxSize屬性。consumeMessageBatchMaxSize屬性默認值為1，即每次只消費一條消息，需要注意的是該屬性也會受pullBatchSize影響，如果consumeMessageBatchMaxSize為32但pullBatchSize只為12，那么每次批量消費的最大消息數(shù)也就只有12。如下為個人測試批量消費Consumer的測試bean：

@Bean public?DefaultMQPushConsumer?userMQPushConsumer()?throws?MQClientException?{DefaultMQPushConsumer?consumer?=?new?DefaultMQPushConsumer(RocketConstant.ConsumerGroup.SPRING_BOOT_USER_CONSUMER);consumer.setNamesrvAddr(nameServer);consumer.subscribe(RocketConstant.Topic.SPRING_BOOT_USER_TOPIC,?"*");//?設(shè)置每次消息拉取的時間間隔，單位毫秒consumer.setPullInterval(1000);//?設(shè)置每個隊列每次拉取的最大消息數(shù)consumer.setPullBatchSize(24);//?設(shè)置消費者單次批量消費的消息數(shù)目上限consumer.setConsumeMessageBatchMaxSize(12);consumer.registerMessageListener((MessageListenerConcurrently)?(msgs,?context)->?{List<UserInfo>?userInfos?=?new?ArrayList<>(msgs.size());Map<Integer,?Integer>?queueMsgMap?=?new?HashMap<>(8);msgs.forEach(msg?->?{userInfos.add(JSONObject.parseObject(msg.getBody(),?UserInfo.class));queueMsgMap.compute(msg.getQueueId(),?(key,?val)?->?val?==?null???1?:?++val);});log.info("userInfo?size:?{},?content:?{}",?userInfos.size(),?userInfos);/*處理批量消息，如批量插入：userInfoMapper.insertBatch(userInfos);*/return?ConsumeConcurrentlyStatus.CONSUME_SUCCESS;});consumer.start();return?consumer; }

如果默認配置情況下log打印出的userInfo size恒為1，但由于設(shè)置了consumeMessageBatchMaxSize與pullBatchSize，且pullBatchSize較小，所以每次消費的消息數(shù)最大值為12，如下圖：

附本文相關(guān)信息

• 確保mqnamesrv與mqbroker已啟動成功，如該文章環(huán)境的啟動： mqnamesrv -n 127.0.0.1:9876 mqbroker -c E:\RocketMQ\rocketmq-all-4.5.2-bin-release\bin\2m-noslave\broker-a.properties mqbroker -c E:\RocketMQ\rocketmq-all-4.5.2-bin-release\bin\2m-noslave\broker-b.properties

• RocketMQ DashBoard啟動流程可參考官方github文檔或到我的資源里下載jar包運行

• 源碼地址（https://github.com/Wilson-He/spring-boot-series/tree/master/spring-rocketmq），2m-noslave目錄是該文章中例子中的2master broker配置與啟動腳本，spring-boot-consumer-peak目錄為包含該文章相關(guān)代碼的實際例子

總結(jié)

以上是生活随笔為你收集整理的RocketMQ削峰的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。