• 消息是通過topic為單位進行管理；
• 分區(qū)機制可以打破單機存儲容量的限制，理論上可以存儲海量的數(shù)據(jù)；
• 分區(qū)數(shù)越大，并發(fā)寫入的性能就越高。這也是kafka適合用于高并發(fā)和大數(shù)據(jù)領域的關鍵；
• 每個topic對應一組日志分區(qū)數(shù)據(jù)；
• 每一組日志分區(qū)是一個有序的不可變的日志序列，分區(qū)中的每一個record都被分配了唯一的序列編號稱為是offset；
• kafka會持久化所有發(fā)布到topic中的record信息，record的默認有效期是7天；
• kafka會定期檢查日志文件，將過期的數(shù)據(jù)從log中移除；
• kafka采用磁盤存儲日志文件。

PS：kafka只能保證同一個分區(qū)內部的數(shù)據(jù)是FIFO先進先出的，而不能保證所有的數(shù)據(jù)都是FIFO的。因為一個topic有多個分區(qū)，默認會使用輪詢的方式對消息進行負載均衡。

• offset的值越小，表示進入到分區(qū)時間越早；反之數(shù)據(jù)越新。
• kafka只能保證分區(qū)內部有序，不能保證多個分區(qū)的先進先出。
• 如果要嚴格保證數(shù)據(jù)是FIFO先進先出的，可以將topic的分區(qū)數(shù)設置為0，也就是不分區(qū)來保證先進先出。

總結

以上是生活随笔為你收集整理的kafka架构：分区机制详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。