序：如何保證kafka全局消息有序？ 　　比如，有100條有序數據，生產者發送到kafka集群，kafka的分片有4個，可能的情況就是一個分片保存0-25，一個保存25-50......這樣消息在kafka中存儲是局部有序了。嚴格說，kafka是無法保證全局消息有序的，沒有這個機制，只能局部有序。

1、Kafka是什么-intsmaze

　　在流式計算中，Kafka一般用來緩存數據，Storm通過消費Kafka的數據進行計算。 　　Apache Kafka是一個開源消息系統，由Scala寫成。
　　Kafka是一個分布式消息隊列：生產者、消費者的功能。它提供了類似于JMS的特性，但是在設計實現上完全不同，此外它并不是JMS規范的實現。
　　Kafka對消息保存時根據Topic進行歸類，發送消息者稱為Producer,消息接受者稱為Consumer,此外kafka集群由多個kafka實例組成，每個實例(server)稱為broker。 　　題外話：無論是kafka集群，還是producer和consumer都依賴于zookeeper集群保存一些meta信息，來保證系統可用性。

原文和作者一起討論:http://www.cnblogs.com/intsmaze/p/6386616.html

微信：intsmaze

2、Kafka核心組件-intsmaze
　　Topic：消息根據Topic進行歸類，可以理解為一個隊里。
　　Producer：消息生產者，就是向kafka broker發消息的客戶端。
　　Consumer：消息消費者，向kafka broker取消息的客戶端。
　　broker：每個kafka實例(server)，一臺kafka服務器就是一個broker，一個集群由多個broker組成，一個broker可以容納多個topic。
　　Zookeeper：依賴集群保存meta信息。

3、Kafka消息有序性-intsmaze

　　生產者是一個獨立的集群，和kafka的broker集群，消費者集群沒有太直接的干系。比如flume就可以作為生產者，內部調用kafka的客戶端代碼，確保把收集的數據發到kafka集群中。 　　如何保證kafka全局消息有序？ 　　比如，有100條有序數據，生產者發送到kafka集群，kafka的分片有4個，可能的情況就是一個分片保存0-25，一個保存25-50......這樣消息在kafka中存儲是局部有序了。嚴格說，kafka是無法保證全局消息有序的，沒有這個機制，只能局部有序。 　　但是如果只有一個分片和一個消息的生產者，那么就相當于消息全局有序了。如果有多個消息生產者，就算只有一個分片，如果這些生產者的消息都發給這個分片，那kafka中的消息連局部有序都沒有辦法了。

4、消費者組-intsmaze

　　Consumer Group（CG）：這是kafka用來實現一個topic消息的廣播（發給所有的consumer）和單播（發給任意一個consumer）的手段。一個topic可以有多個CG。topic的消息會復制（不是真的復制，是概念上的）到所有的CG，但每個partion只會把消息發給該CG中的一個consumer。如果需要實現廣播，只要每個consumer有一個獨立的CG就可以了。要實現單播只要所有的consumer在同一個CG。用CG還可以將consumer進行自由的分組而不需要多次發送消息到不同的topic。 　　Partition：為了實現擴展性，一個非常大的topic可以分布到多個broker（即服務器）上，一個topic可以分為多個partition，每個partition是一個有序的隊列。partition中的每條消息都會被分配一個有序的id（offset）。kafka只保證按一個partition中的順序將消息發給consumer，不保證一個topic的整體（多個partition間）的順序。 Offset：kafka的存儲文件都是按照offset.kafka來命名，用offset做名字的好處是方便查找。例如你想找位于2049的位置，只要找到2048.kafka的文件即可。當然the first offset就是00000000000.kafka。 　　每個group中可以有多個consumer，每個consumer屬于一個consumer group；通常情況下，一個group中會包含多個consumer，這樣不僅可以提高topic中消息的并發消費能力，而且還能提高"故障容錯"性，如果group中的某個consumer失效那么其消費的partitions將會有其他consumer自動接管。 　　對于Topic中的一條特定的消息，只會被訂閱此Topic的每個group中的其中一個consumer消費，此消息不會發送給一個group的多個consumer；那么一個group中所有的consumer將會交錯的消費整個Topic，每個group中consumer消息消費互相獨立，我們可以認為一個group是一個"訂閱"者。 　　在kafka中,一個partition中的消息只會被group中的一個consumer消費(同一時刻)；一個Topic中的每個partions，只會被一個"訂閱者"中的一個consumer消費，不過一個consumer可以同時消費多個partitions中的消息。 　　kafka的設計原理決定,對于一個topic，同一個group中不能有多于partitions個數的consumer同時消費，否則將意味著某些consumer將無法得到消息。kafka只能保證一個partition中的消息被某個consumer消費時是順序的；事實上，從Topic角度來說,當有多個partitions時,消息仍不是全局有序的。 ?

Producer客戶端負責消息的分發

　　kafka集群中的任何一個broker都可以向producer提供metadata信息,這些metadata中包含"集群中存活的servers列表"/"partitions leader列表"等信息； 　　當producer獲取到metadata信息之后, producer將會和Topic下所有partition leader保持socket連接； 　　消息由producer直接通過socket發送到broker，中間不會經過任何"路由層"，事實上，消息被路由到哪個partition上由producer客戶端決定；比如可以采用"random""key-hash""輪詢"等,如果一個topic中有多個partitions,那么在producer端實現"消息均衡分發"是必要的。 　　在producer端的配置文件中,開發者可以指定partition路由的方式。 　　Producer消息發送的應答機制設置發送數據是否需要服務端的反饋,有三個值0,1,-1 　　　 0:producer不會等待broker發送ack 　　　　1:當leader接收到消息之后發送ack 　　　　-1:當所有的follower都同步消息成功后發送ack 　　request.required.acks=0

轉載于:https://www.cnblogs.com/intsmaze/p/6386616.html

總結

以上是生活随笔為你收集整理的Kafka概念入门（一）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。