一、基本概念介紹Kafka是一個(gè)分布式的、可分區(qū)的、可復(fù)制的消息系統(tǒng)。它提供了普通消息系統(tǒng)的功能，但具有自己獨(dú)特的設(shè)計(jì)。這個(gè)獨(dú)特的設(shè)計(jì)是什么樣的呢？首先讓我們看幾個(gè)基本的消息系統(tǒng)術(shù)語：Kafka將消息以topic為單位進(jìn)行歸納。將向Kafka topic發(fā)布消息的程序成為producers.將預(yù)訂topics并消費(fèi)消息的程序成為consumer.Kafka以集群的方式運(yùn)行，可以由一個(gè)或多個(gè)服務(wù)組成，每個(gè)服務(wù)叫做一個(gè)broker.producers通過網(wǎng)絡(luò)將消息發(fā)送到Kafka集群，集群向消費(fèi)者提供消息，如下圖所示：

客戶端和服務(wù)端通過TCP協(xié)議通信。Kafka提供了Java客戶端，并且對(duì)多種語言都提供了支持。Topics 和Logs先來看一下Kafka提供的一個(gè)抽象概念:topic.一個(gè)topic是對(duì)一組消息的歸納。對(duì)每個(gè)topic，Kafka 對(duì)它的日志進(jìn)行了分區(qū)，如下圖所示：

每個(gè)分區(qū)都由一系列有序的、不可變的消息組成，這些消息被連續(xù)的追加到分區(qū)中。分區(qū)中的每個(gè)消息都有一個(gè)連續(xù)的序列號(hào)叫做offset,用來在分區(qū)中唯一的標(biāo)識(shí)這個(gè)消息。在一個(gè)可配置的時(shí)間段內(nèi)，Kafka集群保留所有發(fā)布的消息，不管這些消息有沒有被消費(fèi)。比如，如果消息的保存策略被設(shè)置為2天，那么在一個(gè)消息被發(fā)布的兩天時(shí)間內(nèi)，它都是可以被消費(fèi)的。之后它將被丟棄以釋放空間。Kafka的性能是和數(shù)據(jù)量無關(guān)的常量級(jí)的，所以保留太多的數(shù)據(jù)并不是問題。實(shí)際上每個(gè)consumer唯一需要維護(hù)的數(shù)據(jù)是消息在日志中的位置，也就是offset.這個(gè)offset有consumer來維護(hù)：一般情況下隨著consumer不斷的讀取消息，這offset的值不斷增加，但其實(shí)consumer可以以任意的順序讀取消息，比如它可以將offset設(shè)置成為一個(gè)舊的值來重讀之前的消息。以上特點(diǎn)的結(jié)合，使Kafka consumers非常的輕量級(jí)：它們可以在不對(duì)集群和其他consumer造成影響的情況下讀取消息。你可以使用命令行來"tail"消息而不會(huì)對(duì)其他正在消費(fèi)消息的consumer造成影響。將日志分區(qū)可以達(dá)到以下目的：首先這使得每個(gè)日志的數(shù)量不會(huì)太大，可以在單個(gè)服務(wù)上保存。另外每個(gè)分區(qū)可以單獨(dú)發(fā)布和消費(fèi)，為并發(fā)操作topic提供了一種可能。分布式每個(gè)分區(qū)在Kafka集群的若干服務(wù)中都有副本，這樣這些持有副本的服務(wù)可以共同處理數(shù)據(jù)和請(qǐng)求，副本數(shù)量是可以配置的。副本使Kafka具備了容錯(cuò)能力。每個(gè)分區(qū)都由一個(gè)服務(wù)器作為“l(fā)eader”，零或若干服務(wù)器作為“followers”,leader負(fù)責(zé)處理消息的讀和寫，followers則去復(fù)制leader.如果leader down了，followers中的一臺(tái)則會(huì)自動(dòng)成為leader。集群中的每個(gè)服務(wù)都會(huì)同時(shí)扮演兩個(gè)角色：作為它所持有的一部分分區(qū)的leader，同時(shí)作為其他分區(qū)的followers，這樣集群就會(huì)據(jù)有較好的負(fù)載均衡。ProducersProducer將消息發(fā)布到它指定的topic中,并負(fù)責(zé)決定發(fā)布到哪個(gè)分區(qū)。通常簡單的由負(fù)載均衡機(jī)制隨機(jī)選擇分區(qū)，但也可以通過特定的分區(qū)函數(shù)選擇分區(qū)。使用的更多的是第二種。Consumers發(fā)布消息通常有兩種模式：隊(duì)列模式(queuing)和發(fā)布-訂閱模式(publish-subscribe)。隊(duì)列模式中，consumers可以同時(shí)從服務(wù)端讀取消息，每個(gè)消息只被其中一個(gè)consumer讀到；發(fā)布-訂閱模式中消息被廣播到所有的consumer中。Consumers可以加入一個(gè)consumer 組，共同競爭一個(gè)topic，topic中的消息將被分發(fā)到組中的一個(gè)成員中。同一組中的consumer可以在不同的程序中，也可以在不同的機(jī)器上。如果所有的consumer都在一個(gè)組中，這就成為了傳統(tǒng)的隊(duì)列模式，在各consumer中實(shí)現(xiàn)負(fù)載均衡。如果所有的consumer都不在不同的組中，這就成為了發(fā)布-訂閱模式，所有的消息都被分發(fā)到所有的consumer中。更常見的是，每個(gè)topic都有若干數(shù)量的consumer組，每個(gè)組都是一個(gè)邏輯上的“訂閱者”，為了容錯(cuò)和更好的穩(wěn)定性，每個(gè)組由若干consumer組成。這其實(shí)就是一個(gè)發(fā)布-訂閱模式，只不過訂閱者是個(gè)組而不是單個(gè)consumer。

由兩個(gè)機(jī)器組成的集群擁有4個(gè)分區(qū) (P0-P3) 2個(gè)consumer組. A組有兩個(gè)consumerB組有4個(gè)相比傳統(tǒng)的消息系統(tǒng)，Kafka可以很好的保證有序性。傳統(tǒng)的隊(duì)列在服務(wù)器上保存有序的消息，如果多個(gè)consumers同時(shí)從這個(gè)服務(wù)器消費(fèi)消息，服務(wù)器就會(huì)以消息存儲(chǔ)的順序向consumer分發(fā)消息。雖然服務(wù)器按順序發(fā)布消息，但是消息是被異步的分發(fā)到各consumer上，所以當(dāng)消息到達(dá)時(shí)可能已經(jīng)失去了原來的順序，這意味著并發(fā)消費(fèi)將導(dǎo)致順序錯(cuò)亂。為了避免故障，這樣的消息系統(tǒng)通常使用“專用consumer”的概念，其實(shí)就是只允許一個(gè)消費(fèi)者消費(fèi)消息，當(dāng)然這就意味著失去了并發(fā)性。在這方面Kafka做的更好，通過分區(qū)的概念，Kafka可以在多個(gè)consumer組并發(fā)的情況下提供較好的有序性和負(fù)載均衡。將每個(gè)分區(qū)分只分發(fā)給一個(gè)consumer組，這樣一個(gè)分區(qū)就只被這個(gè)組的一個(gè)consumer消費(fèi)，就可以順序的消費(fèi)這個(gè)分區(qū)的消息。因?yàn)橛卸鄠€(gè)分區(qū)，依然可以在多個(gè)consumer組之間進(jìn)行負(fù)載均衡。注意consumer組的數(shù)量不能多于分區(qū)的數(shù)量，也就是有多少分區(qū)就允許多少并發(fā)消費(fèi)。Kafka只能保證一個(gè)分區(qū)之內(nèi)消息的有序性，在不同的分區(qū)之間是不可以的，這已經(jīng)可以滿足大部分應(yīng)用的需求。如果需要topic中所有消息的有序性，那就只能讓這個(gè)topic只有一個(gè)分區(qū)，當(dāng)然也就只有一個(gè)consumer組消費(fèi)它。###########################################二、環(huán)境搭建

Step 1: 下載Kafka點(diǎn)擊下載最新的版本并解壓.

> tar -xzf kafka_2.9.2-0.8.1.1.tgz

> cd kafka_2.9.2-0.8.1.1

復(fù)制代碼

Step 2: 啟動(dòng)服務(wù)Kafka用到了Zookeeper，所有首先啟動(dòng)Zookper，下面簡單的啟用一個(gè)單實(shí)例的Zookkeeper服務(wù)。可以在命令的結(jié)尾加個(gè)&符號(hào)，這樣就可以啟動(dòng)后離開控制臺(tái)。

> bin/zookeeper-server-start.sh config/zookeeper.properties &

[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)

...

復(fù)制代碼

現(xiàn)在啟動(dòng)Kafka:

> bin/kafka-server-start.sh config/server.properties

[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)

[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)

...

復(fù)制代碼

Step 3: 創(chuàng)建 topic創(chuàng)建一個(gè)叫做“test”的topic，它只有一個(gè)分區(qū)，一個(gè)副本。

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

復(fù)制代碼

可以通過list命令查看創(chuàng)建的topic:

> bin/kafka-topics.sh --list --zookeeper localhost:2181

test

復(fù)制代碼

除了手動(dòng)創(chuàng)建topic，還可以配置broker讓它自動(dòng)創(chuàng)建topic.Step 4:發(fā)送消息.Kafka 使用一個(gè)簡單的命令行producer，從文件中或者從標(biāo)準(zhǔn)輸入中讀取消息并發(fā)送到服務(wù)端。默認(rèn)的每條命令將發(fā)送一條消息。運(yùn)行producer并在控制臺(tái)中輸一些消息，這些消息將被發(fā)送到服務(wù)端：

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

This is a messageThis is another message

復(fù)制代碼

ctrl+c可以退出發(fā)送。Step 5: 啟動(dòng)consumerKafka also has a command line consumer that will dump out messages to standard output.Kafka也有一個(gè)命令行consumer可以讀取消息并輸出到標(biāo)準(zhǔn)輸出：

> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

This is a message

This is another message

復(fù)制代碼

你在一個(gè)終端中運(yùn)行consumer命令行，另一個(gè)終端中運(yùn)行producer命令行，就可以在一個(gè)終端輸入消息，另一個(gè)終端讀取消息。這兩個(gè)命令都有自己的可選參數(shù)，可以在運(yùn)行的時(shí)候不加任何參數(shù)可以看到幫助信息。Step 6: 搭建一個(gè)多個(gè)broker的集群剛才只是啟動(dòng)了單個(gè)broker，現(xiàn)在啟動(dòng)有3個(gè)broker組成的集群，這些broker節(jié)點(diǎn)也都是在本機(jī)上的：首先為每個(gè)節(jié)點(diǎn)編寫配置文件：

> cp config/server.properties config/server-1.properties

> cp config/server.properties config/server-2.properties

復(fù)制代碼

在拷貝出的新文件中添加以下參數(shù)：

config/server-1.properties:

broker.id=1

port=9093

log.dir=/tmp/kafka-logs-1

復(fù)制代碼

config/server-2.properties:

broker.id=2

port=9094

log.dir=/tmp/kafka-logs-2

復(fù)制代碼

broker.id在集群中唯一的標(biāo)注一個(gè)節(jié)點(diǎn)，因?yàn)樵谕粋€(gè)機(jī)器上，所以必須制定不同的端口和日志文件，避免數(shù)據(jù)被覆蓋。We already have Zookeeper and our single node started, so we just need to start the two new nodes:剛才已經(jīng)啟動(dòng)可Zookeeper和一個(gè)節(jié)點(diǎn)，現(xiàn)在啟動(dòng)另外兩個(gè)節(jié)點(diǎn)：

> bin/kafka-server-start.sh config/server-1.properties &

...

> bin/kafka-server-start.sh config/server-2.properties &

...

復(fù)制代碼

創(chuàng)建一個(gè)擁有3個(gè)副本的topic:

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

復(fù)制代碼

現(xiàn)在我們搭建了一個(gè)集群，怎么知道每個(gè)節(jié)點(diǎn)的信息呢？運(yùn)行“"describe topics”命令就可以了：

> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

復(fù)制代碼

Topic:my-replicated-topic? ?? ? PartitionCount:1? ?? ???ReplicationFactor:3? ???Configs:

Topic: my-replicated-topic? ?? ?Partition: 0? ? Leader: 1? ?? ? Replicas: 1,2,0 Isr: 1,2,0

復(fù)制代碼

下面解釋一下這些輸出。第一行是對(duì)所有分區(qū)的一個(gè)描述，然后每個(gè)分區(qū)都會(huì)對(duì)應(yīng)一行，因?yàn)槲覀冎挥幸粋€(gè)分區(qū)所以下面就只加了一行。leader：負(fù)責(zé)處理消息的讀和寫，leader是從所有節(jié)點(diǎn)中隨機(jī)選擇的.replicas：列出了所有的副本節(jié)點(diǎn)，不管節(jié)點(diǎn)是否在服務(wù)中.isr：是正在服務(wù)中的節(jié)點(diǎn).在我們的例子中，節(jié)點(diǎn)1是作為leader運(yùn)行。向topic發(fā)送消息：

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

復(fù)制代碼

...

my test message 1my test message 2^C

復(fù)制代碼

消費(fèi)這些消息：

> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic

復(fù)制代碼

...

my test message 1

my test message 2

^C

復(fù)制代碼

測試一下容錯(cuò)能力.Broker 1作為leader運(yùn)行，現(xiàn)在我們kill掉它：

> ps | grep server-1.properties7564 ttys002? ? 0:15.91 /System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home/bin/java...

> kill -9 7564

復(fù)制代碼

另外一個(gè)節(jié)點(diǎn)被選做了leader,node 1 不再出現(xiàn)在 in-sync 副本列表中：

> bin/kafka-topics.sh --describe --zookeeper localhost:218192 --topic my-replicated-topic

Topic:my-replicated-topic? ?? ? PartitionCount:1? ?? ???ReplicationFactor:3? ???Configs:

Topic: my-replicated-topic? ?? ?Partition: 0? ? Leader: 2? ?? ? Replicas: 1,2,0 Isr: 2,0

復(fù)制代碼

雖然最初負(fù)責(zé)續(xù)寫消息的leader down掉了，但之前的消息還是可以消費(fèi)的：

> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic

...

my test message 1

my test message 2

復(fù)制代碼

看來Kafka的容錯(cuò)機(jī)制還是不錯(cuò)的。################################################

總結(jié)

以上是生活随笔為你收集整理的搭建kafaka_Kafka 环境部署搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。