本系列文章主要闡述大數據計算平臺相關框架的搭建，包括如下內容：

• 基礎環境安裝
• zookeeper集群的搭建
• kafka集群的搭建
• hadoop/hbase集群的搭建
• spark集群的搭建
• flink集群的搭建
• elasticsearch集群的搭建
• alluxio集群的搭建

1.kafak簡介

Kafka是一個分布式、分區的、多副本的、多訂閱者的消息隊列,以高吞吐量著稱，主要用于實時數據的傳輸和處理，總體架構如下

更多內容請閱讀官網 http://kafka.apache.org/documentation.html#introduction

2.kafka安裝

• 下載

地址：http://kafka.apache.org/downloads，選擇kafka_2.11-0.10.2.1.tgz版本

• 解壓安裝

本文環境列表

直接在服務器10.20.112.59上解壓

1 2 3

cd ~ tar -zxvf kafka_2.11-0.10.2.1.tgz.gz mv? kafka_2.11-0.10.2.1 kafka

• ?配置更改

編輯kafka server配置文件
vi /wls/oracle/kafka/config/server.properties
主要是如下幾項：
kafka集群
修改server.properties
不同集群broker.id 和host.name 不一樣，根據實際情況配置。
修改默認配置文件中的
broker.id(每臺服務器均不同)
port(如果是偽集群，則端口號需要改變)
host.name
advertised.host.name
zookeeper.connect(所有集群的ip均需要說明)
log.dirs
以服務器SZB-L0045546，則其server.properties需更改的配置如下：

broker.id=1 port=9092 host.name=SZB-L0045546 advertised.host.name=10.20.112.59 zookeeper.connection=SZB-L0045546:2181,SZB-L0045551:2181,SZB-L0045552:2181/kafka log.dirs=/wls/oracle/bigdata/kafka/kafka-logs-1,/wls/oracle/bigdata/kafka/kafka-logs-2,/wls/oracle/bigdata/kafka/kafka-logs-3

而集群另外4臺服務器中的broker.id、host.name,advertised.host.name和SZB-L0045546的保持不同即可。同時集群中的服務器需要為kafka日志建立相關目錄

mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-1 mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-2 mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-3

• 啟動和驗證

依次啟動集群中的kafka，執行腳本如下：? cd wls/oracle/bigdata/kafka/logs nohup /wls/oracle/kafka/bin/kafka-server-start.sh /wls/oracle/kafka/config/server.properties >> /wls/oracle/bigdata/kafka/logs/kafka.out 2&1 &

創建topic

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--create --topic TEST --replication-factor 2 --partitions 3

顯示創建的topic

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--list

向TEST中寫入消息

/wls/oracle/kafka/bin/kafka-console-producer.sh --broker-list 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--topic TEST

從topic TEST中消費數據

/wls/oracle/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--topic TEST --from-beginning 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的kafka集群的搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。