為了安裝過(guò)程對(duì)一些參數(shù)的理解，我先在這里提一下kafka一些重點(diǎn)概念,topic,broker,producer,consumer,message,partition,依賴(lài)于zookeeper,

kafka是一種消息隊(duì)列,他的服務(wù)端是由若干個(gè)broker組成的，broker會(huì)向zookeeper，producer生成者對(duì)應(yīng)一個(gè)topic主題生產(chǎn)的數(shù)據(jù)分成多個(gè)partition分區(qū)放在不同的broker中,

每個(gè)分區(qū)以message的形式存儲(chǔ)對(duì)應(yīng)的消息數(shù)據(jù)(包括key，value，offset，inserttime),另一方面就是consumer消費(fèi)者要向消息隊(duì)列拉數(shù)據(jù)的時(shí)候首先是通過(guò)訪問(wèn)zookeeper獲取

一些元數(shù)據(jù)比如offset到對(duì)應(yīng)的消息分區(qū)對(duì)應(yīng)的讀的地址繼續(xù)讀下去。我簡(jiǎn)單的畫(huà)了個(gè)圖，

?

接下來(lái)開(kāi)始安裝步驟了

1.解壓

sudo tar -zxvf kafka_2.11-0.10.0.0.tgz[壓縮包路徑] -C /opt/modules/[解壓的目標(biāo)路徑]

2.在kafka的根目錄下新建個(gè)文件夾用于存儲(chǔ)一些日志文件

mkdir kafka-logs

2.配置conf/server.properties文件

broker.id=0 log.dirs=/opt/modules/kafka_2.11-0.10.0.0/kafka-logs num.partitions=2 zookeeper.connect=hadoop-senior01.kyhoon.com:2181 ,hadoop-senior02.kyhoon.com:2181

3.分發(fā)到另外一臺(tái)服務(wù)器(這里只用了兩臺(tái)虛擬機(jī)服務(wù)器集群)并修改配置文件中的broker.id

scp -r ./kafka_2.11-0.10.0.0/ root@hadoop-senior02.kyhoon.com:/opt/modules broker.id =1

4.啟動(dòng)集群的Zookeeper

bin/zkServer.sh start

5.啟動(dòng)集群的kafka服務(wù)

nohup bin/kafka-server-start.sh config/server.properties &

6.創(chuàng)建topic

bin/kafka-topics.sh --zookeeper hadoop-senior01.kyhoon.com:2181 ,hadoop-senior02.kyhoon.com:2181 --topic test --replication-factor 1 --partitions 2 --create

7.查看topic

bin/kafka-topics.sh --zookeeper hadoop-senior01.kyhoon.com:2181 ,hadoop-senior02.kyhoon.com:2181 --list

8.創(chuàng)建生產(chǎn)者

bin/kafka-console-producer.sh --broker-list hadoop-senior01.kyhoon.com:9092 ,hadoop-senior02.kyhoon.com:9092 --topic test

9.創(chuàng)建消費(fèi)者

bin/kafka-console-consumer.sh --zookeeper hadoop-senior01.kyhoon.com:2181 ,hadoop-senior02.kyhoon.com:2181 --topic test --from-beginning

10.在生產(chǎn)者端輸入消息回車(chē)，在消費(fèi)者端看到對(duì)應(yīng)的消息則證明安裝成功了

?

kyhoon

轉(zhuǎn)載于:https://www.cnblogs.com/Niel-3/p/7392225.html

總結(jié)

以上是生活随笔為你收集整理的4.kafka的安装部署的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。