python kafka offset自动提交_Spring-Kafka —— 实现批量消费和手动提交offset
spring-kafka的官方文檔介紹,可以知道自1.1版本之后,
@KafkaListener開始支持批量消費,只需要設置batchListener參數為true
把application.yml中的enable-auto-commit設置為false,設置為不自動提交
@Bean
public KafkaListenerContainerFactory> batchFactory(ConsumerFactory consumerFactory){
ConcurrentKafkaListenerContainerFactory factory =
new ConcurrentKafkaListenerContainerFactory<>();
factory.setConsumerFactory(consumerFactory);
factory.setConcurrency(10);
factory.getContainerProperties().setPollTimeout(1500);
factory.setBatchListener(true);//設置為批量消費,每個批次數量在Kafka配置參數中設置
factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.MANUAL_IMMEDIATE);//設置手動提交ackMode
return factory;
}
//批量消息
@KafkaListener(topics = {"first_top"},containerFactory="batchFactory")
public void consumerBatch(List> records, Acknowledgment ack){
log.info("接收到消息數量:{}",record.size());
//手動提交
ack.acknowledge();
}
這里containerFactory = “batchFactory”要指定為批量消費
Spring-Kafka —— 消費后不提交offset情況的分析總結
最近在使用kafka,過程中遇到了一些疑問,在查閱了一些資料和相關blog之后,關于手動提交offset的問題,做一下總結和記錄. 消費端手動提交offset代碼如下: /** * 這是手動提交的消費 ...
關于SpringKafka消費者的幾個監聽器:[一次處理單條消息和一次處理一批消息]以及[自動提交offset和手動提交offset]
自己在使用Spring Kafka 的消費者消費消息的時候的實踐總結: 接口 KafkaDataListener 是spring-kafka提供的一個供消費者接受消息的頂層接口,也是一個空接口; pu ...
spring-kafka手動提交offset
<?xml version="1.0" encoding="UTF-8"?>
去除console.log()打印語句
打印語句:console.log() ,一句話描述它! “用的時候感覺賊爽,不用的時候腦袋痛吧?” 以下提供三種解決方案: 一. webpack打包時去除,適合Vue項目 二. vscode正則匹配, ...
解決:People下面選擇分享可見聯系人,選擇多個聯系人后通過短信分享,短信中只顯示一個聯系人
問題描述: [操作步驟]:People下導入導出中選擇分享可見聯系人,選擇多個聯系人后通過短信分享 [測試結果]:短信中只能顯示一個聯系人 [預期結果]:可以顯示多個聯系人 經過代碼分析,從compo ...
總結
以上是生活随笔為你收集整理的python kafka offset自动提交_Spring-Kafka —— 实现批量消费和手动提交offset的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: dicom多帧转换_Python解析多帧
- 下一篇: 易语言webservice接口_易语言语