consumer和partition的数量建议
生活随笔
收集整理的這篇文章主要介紹了
consumer和partition的数量建议
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1. 如果consumer比partition多,是浪費,因為kafka的設計是在一個partition上是不允許并發的,所以consumer數不要大于partition數
2. 如果consumer比partition少,一個consumer會對應于多個partitions,這里主要合理分配consumer數和partition數,否則會導致partition里面的數據被取的不均勻。最好partiton數目是consumer數目的整數倍,所以partition數目很重要,比如取24,就很容易設定consumer數目
3. 如果consumer從多個partition讀到數據,不保證數據間的順序性,kafka只保證在一個partition上數據是有序的,但多個partition,根據你讀的順序會有不同
4. 增減consumer,broker,partition會導致rebalance,所以rebalance后consumer對應的partition會發生變化
?
超強干貨來襲 云風專訪:近40年碼齡,通宵達旦的技術人生總結
以上是生活随笔為你收集整理的consumer和partition的数量建议的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: kafka消息消费原理演示
- 下一篇: 【思考?】什么时候会触发这个策略呢?