1. 啟動集群每個節(jié)點的進程

nohup kafka-server-start.sh \ /home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties \ 1>~/logs/kafka_std.log \ 2>~/logs/kafka_err.log &

2. 創(chuàng)建 Topic

解釋說明：
–create --> 創(chuàng)建 Topic 的選項
–zookeeper --> 指定 ZooKeeper 集群地址
–replication-factor --> Topic 的副本數(shù)
–partitions --> 分區(qū)個數(shù)
–topic --> Topic 名稱

kafka-topics.sh \ --create \ --zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \ --replication-factor 3 \ --partitions 10 \ --topic gldwolf

3. 查看已經(jīng)創(chuàng)建的所有 Kafka Topic

kafka-topics.sh \ --list \ --zookeeper hdp01:2181,hdp02:2181,hdp03:2181

4. 查看某個指定的 Topic 的詳細信息

kafka-topics.sh \ --zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \ --describe \ --topic gldwolf

結果如下：

Topic：Topic 名稱
Partition：Topic 的分區(qū)編號
Leader：負責處理消息的讀和寫，Leader 是從所有節(jié)點中隨機選擇的
Replicas：列出了所有的副本節(jié)點，不管節(jié)點是否在服務中
Isr：正在服務中的節(jié)點

5. 開啟生產者模擬生成數(shù)據(jù):

kafka-console-producer.sh \ --broker-list hdp01:9092,hdp02:9092,hdp03:9092 \ --topic gldwolf

6. 開啟消費者模擬消費數(shù)據(jù)

kafka-console-consumer.sh \ --zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \ --from-beginning \ --topic gldwolf

7. 查看某個 Topic 的某個 Partition 的偏移量的最大值和最小值

kafka-run-class.sh \ kafka.tools.GetOffsetShell \ --topic gldwolf \ --time -1 \ --broker-list hdp01:9092,hdp02:9092,hdp03:9092 \ -partitions 1

8. 增加 Topic 分區(qū)數(shù)

# 修改分區(qū)數(shù)為 20 kafka-topics.sh \ --alter \ --zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \ --topic gldwolf \ --partitions 20 # 修改副本個數(shù)為 2 kafka-topics.sh \ --alter \ --zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \ --topic gldwolf \ --replication-factor 2

9. 刪除 Topic

kafka-topics.sh \ --delete \ --zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \ --topic gldwolf

總結

以上是生活随笔為你收集整理的Kafka Shell 基本操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。