kafka offset保存在哪里_《Kafka成神之路》- 索引类型
生活随笔
收集整理的這篇文章主要介紹了
kafka offset保存在哪里_《Kafka成神之路》- 索引类型
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
在Kafka的數據路徑下有很多.index和.timeindex后綴文件:
- .index文件,即Kafka中的位移索引文件
- .timeindex文件,即時間戳索引文件。
1 OffsetIndex - 位移索引
1.1 定義
用于根據位移值快速查找消息所在文件位置。
每當Consumer需要從topic分區的某位置開始讀消息時,Kafka就會用OffsetIndex直接定位物理文件位置,避免從頭讀取消息的I/O性能開銷。
不同索引類型保存不同的 K.V 對。OffsetIndex的K即消息的相對位移,V即保存該消息的日志段文件中該消息第一個字節的物理文件位置。
相對位移
AbstractIndex類中的抽象方法entrySize定義了單個K.V對所用的字節數。 OffsetIndex的entrySize就是8,如OffsetIndex.scala中定義的那樣:
相對位移是個Integer,4字節,物理文件位置也是一個Integer,4字節,因此共8字節。
Kafka的消息位移值是一個長整型(Long),應占8字節。在保存OffsetIndex的K.V對時,Kafka做了一些優化。每個OffsetIn
總結
以上是生活随笔為你收集整理的kafka offset保存在哪里_《Kafka成神之路》- 索引类型的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: mysql联合查询结果_请问 MySQL
- 下一篇: mysql5.7 skip ssl_My