1）查看當前服務器中的所有 topic?

bin/kafka-topics.sh --zookeeper backup01:2181

使用命令? bin/kafka-topics.sh --list? 報異常，提示必須依賴zookeeper? ?前面我們就講過kafka是依賴于zookeeper

連上zookeeper什么都沒有輸出，因為我們什么消息也沒有，我們需要創建topic

bin/kafka-topics.sh --list --zookeeper backup01:2181

2）創建 topic?

bin/kafka-topics.sh --zookeeper backup01:2181 --create --replication-factor 3 --partitions 1 -topic first 選項說明： --topic 定義 topic 名 --replication-factor 定義副本數 --partitions 定義分區數

再次查看

日志分析

backup01

buckup02

buckup03

我們看見之前建立和配置好的logs目錄下面生成很多文件? 其中有個first-1這個就是我們創建的主題，但是這個主題是主題名字和分區名字聯合命名。

還有一個最重要的是就是我們后臺啟動看不見kafka的啟動日志在這個server.log下面我們可以查詢啟動相關信息

3）刪除 topic?

bin/kafka-topics.sh --zookeeper backup01:2181 --delete --topic first #需要 server.properties 中設置 delete.topic.enable=true 否則只是標記刪除

那我們就設置一下

我們刪除了之后重新建立一個first主題?一個分區一個副本

buckup01

buckup02

buckup03

我們發現一個分區一個副本就一個first-0

現在大家應該明白了什么是分區和副本

4）查看某個 Topic 的詳情?

bin/kafka-topics.sh --zookeeper buckup01:2181 --describe --topic first?

上面只有一個分區一個副本，下面我們創建一個secend主題3個分區3個副本，查看下主題的詳情

?

分區0有3個副本

分區1也有3個副本

分區2也有3個副本

我們在創建一個主題three? 2個分區2個副本

?主題three? ? 分區1的其中1個副本在buckup01機器上

主題three?分區0的其中1個副本被分配在buckup02機器上

主題three? ?分區0和分區1的另一個副本都在buckup03機器上?

講了這么多估計沒有不懂分區和副本了吧

注意有一點：副本數不能超過集群的機器數量

5）發送消息? 向主題first發送消息（buckup01開啟一個生產者）

bin/kafka-console-producer.sh --brokerlist buckup01:9092 --topic first >hello world >atguigu atguigu

6）消費消息 （backup03開啟一個消費者）

bin/kafka-console-consumer.sh \ --zookeeper buckup03:2181 --topic first

總是報一個錯誤：zookeeper is not a recognized option

在新版本--zookeeper是一個過時的方法，此時，才知道原來在最新的版本中，這種啟動方式已經被刪除了，

最后附上0.90版本之后啟動消費者的方法：

bin/kafka-console-consumer.sh --bootstrap-server?backup03:9092 --topic?first

在backup02在開啟一個消費者，此時backup02這個機器是在發消息時候不在線，默認只能從最大開始，想要從頭消費需要使用--from-beginning參數

?bin/kafka-console-consumer.sh --bootstrap-server?backup02:9092 --topic?first --from-beginning

我們在看下logs下目錄? （主題__consumer_offsets? ?后面數字是分區? 消費者默認50個分區）?

[root@backup02 kafka_2.12-2.4.1]# cd logs/ [root@backup02 logs]# ll total 476 -rw-r--r--. 1 root root 4 Mar 29 16:31 cleaner-offset-checkpoint drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-0 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-12 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-15 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-18 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-21 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-24 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-27 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-3 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-30 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-33 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-36 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-39 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-42 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-45 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-48 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-6 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-9 -rw-r--r--. 1 root root 11302 Mar 29 15:56 controller.log -rw-r--r--. 1 root root 7243 Mar 29 13:56 controller.log.2020-03-29-13 -rw-r--r--. 1 root root 3499 Mar 29 14:02 controller.log.2020-03-29-14 -rw-r--r--. 1 root root 0 Mar 29 13:46 kafka-authorizer.log -rw-r--r--. 1 root root 0 Mar 29 13:46 kafka-request.log -rw-r--r--. 1 root root 17309 Mar 29 17:37 kafkaServer-gc.log.0.current -rw-r--r--. 1 root root 102388 Mar 29 17:36 kafkaServer.out -rw-r--r--. 1 root root 1055 Mar 29 16:31 log-cleaner.log -rw-r--r--. 1 root root 172 Mar 29 13:47 log-cleaner.log.2020-03-29-13 -rw-r--r--. 1 root root 550 Mar 29 14:02 log-cleaner.log.2020-03-29-14 -rw-r--r--. 1 root root 550 Mar 29 15:56 log-cleaner.log.2020-03-29-15 -rw-r--r--. 1 root root 4 Mar 29 17:38 log-start-offset-checkpoint -rw-r--r--. 1 root root 88 Mar 29 15:56 meta.properties -rw-r--r--. 1 root root 452 Mar 29 17:38 recovery-point-offset-checkpoint -rw-r--r--. 1 root root 452 Mar 29 17:39 replication-offset-checkpoint drwxr-xr-x. 2 root root 141 Mar 29 16:42 secend-0 drwxr-xr-x. 2 root root 141 Mar 29 16:42 secend-1 drwxr-xr-x. 2 root root 141 Mar 29 16:42 secend-2 -rw-r--r--. 1 root root 41838 Mar 29 17:36 server.log -rw-r--r--. 1 root root 31088 Mar 29 13:57 server.log.2020-03-29-13 -rw-r--r--. 1 root root 40824 Mar 29 14:52 server.log.2020-03-29-14 -rw-r--r--. 1 root root 53272 Mar 29 15:56 server.log.2020-03-29-15 -rw-r--r--. 1 root root 27236 Mar 29 16:56 server.log.2020-03-29-16 -rw-r--r--. 1 root root 36852 Mar 29 17:34 state-change.log -rw-r--r--. 1 root root 1145 Mar 29 13:51 state-change.log.2020-03-29-13 -rw-r--r--. 1 root root 36058 Mar 29 15:56 state-change.log.2020-03-29-15 -rw-r--r--. 1 root root 16465 Mar 29 16:48 state-change.log.2020-03-29-16 drwxr-xr-x. 2 root root 141 Mar 29 16:48 three-0 [root@backup02 logs]#

其他消費者分區

[root@backup03 kafka_2.12-2.4.1]# cd logs/ [root@backup03 logs]# ll total 464 -rw-r--r--. 1 root root 4 Mar 29 16:31 cleaner-offset-checkpoint drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-1 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-10 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-13 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-16 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-19 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-22 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-25 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-28 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-31 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-34 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-37 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-4 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-40 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-43 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-46 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-49 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-7 -rw-r--r--. 1 root root 9685 Mar 29 15:56 controller.log -rw-r--r--. 1 root root 578 Mar 29 13:51 controller.log.2020-03-29-13 -rw-r--r--. 1 root root 9382 Mar 29 14:03 controller.log.2020-03-29-14 -rw-r--r--. 1 root root 0 Mar 29 13:47 kafka-authorizer.log -rw-r--r--. 1 root root 0 Mar 29 13:47 kafka-request.log -rw-r--r--. 1 root root 17325 Mar 29 17:38 kafkaServer-gc.log.0.current -rw-r--r--. 1 root root 100447 Mar 29 17:36 kafkaServer.out -rw-r--r--. 1 root root 844 Mar 29 16:31 log-cleaner.log -rw-r--r--. 1 root root 172 Mar 29 13:47 log-cleaner.log.2020-03-29-13 -rw-r--r--. 1 root root 550 Mar 29 14:03 log-cleaner.log.2020-03-29-14 -rw-r--r--. 1 root root 550 Mar 29 15:56 log-cleaner.log.2020-03-29-15 -rw-r--r--. 1 root root 4 Mar 29 17:43 log-start-offset-checkpoint -rw-r--r--. 1 root root 88 Mar 29 15:56 meta.properties -rw-r--r--. 1 root root 463 Mar 29 17:43 recovery-point-offset-checkpoint -rw-r--r--. 1 root root 463 Mar 29 17:43 replication-offset-checkpoint drwxr-xr-x. 2 root root 141 Mar 29 16:42 secend-0 drwxr-xr-x. 2 root root 141 Mar 29 16:42 secend-1 drwxr-xr-x. 2 root root 141 Mar 29 16:42 secend-2 -rw-r--r--. 1 root root 41154 Mar 29 17:36 server.log -rw-r--r--. 1 root root 31088 Mar 29 13:57 server.log.2020-03-29-13 -rw-r--r--. 1 root root 40823 Mar 29 14:53 server.log.2020-03-29-14 -rw-r--r--. 1 root root 45717 Mar 29 15:56 server.log.2020-03-29-15 -rw-r--r--. 1 root root 27398 Mar 29 16:56 server.log.2020-03-29-16 -rw-r--r--. 1 root root 36856 Mar 29 17:34 state-change.log -rw-r--r--. 1 root root 0 Mar 29 13:47 state-change.log.2020-03-29-13 -rw-r--r--. 1 root root 1145 Mar 29 14:02 state-change.log.2020-03-29-14 -rw-r--r--. 1 root root 25329 Mar 29 15:56 state-change.log.2020-03-29-15 -rw-r--r--. 1 root root 17415 Mar 29 16:48 state-change.log.2020-03-29-16 drwxr-xr-x. 2 root root 141 Mar 29 16:48 three-0 drwxr-xr-x. 2 root root 141 Mar 29 16:48 three-1 [root@backup03 logs]# [root@backup01 kafka_2.12-2.4.1]# cd logs/ [root@backup01 logs]# ll total 696 -rw-r--r--. 1 root root 4 Mar 29 16:31 cleaner-offset-checkpoint drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-11 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-14 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-17 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-2 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-20 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-23 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-26 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-29 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-32 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-35 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-38 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-41 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-44 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-47 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-5 drwxr-xr-x. 2 root root 141 Mar 29 17:34 __consumer_offsets-8 -rw-r--r--. 1 root root 22485 Mar 29 17:40 controller.log -rw-r--r--. 1 root root 10857 Mar 29 13:51 controller.log.2020-03-29-13 -rw-r--r--. 1 root root 11117 Mar 29 14:58 controller.log.2020-03-29-14 -rw-r--r--. 1 root root 21665 Mar 29 15:56 controller.log.2020-03-29-15 -rw-r--r--. 1 root root 29350 Mar 29 16:55 controller.log.2020-03-29-16 drwxr-xr-x. 2 root root 141 Mar 29 16:32 first-0 -rw-r--r--. 1 root root 0 Mar 29 13:40 kafka-authorizer.log -rw-r--r--. 1 root root 0 Mar 29 13:40 kafka-request.log -rw-r--r--. 1 root root 18331 Mar 29 17:42 kafkaServer-gc.log.0.current -rw-r--r--. 1 root root 104496 Mar 29 17:35 kafkaServer.out -rw-r--r--. 1 root root 844 Mar 29 16:31 log-cleaner.log -rw-r--r--. 1 root root 722 Mar 29 13:51 log-cleaner.log.2020-03-29-13 -rw-r--r--. 1 root root 550 Mar 29 15:55 log-cleaner.log.2020-03-29-15 -rw-r--r--. 1 root root 4 Mar 29 17:44 log-start-offset-checkpoint -rw-r--r--. 1 root root 88 Mar 29 15:55 meta.properties -rw-r--r--. 1 root root 439 Mar 29 17:44 recovery-point-offset-checkpoint -rw-r--r--. 1 root root 439 Mar 29 17:44 replication-offset-checkpoint drwxr-xr-x. 2 root root 141 Mar 29 16:42 secend-0 drwxr-xr-x. 2 root root 141 Mar 29 16:42 secend-1 drwxr-xr-x. 2 root root 141 Mar 29 16:42 secend-2 -rw-r--r--. 1 root root 40958 Mar 29 17:35 server.log -rw-r--r--. 1 root root 71236 Mar 29 13:51 server.log.2020-03-29-13 -rw-r--r--. 1 root root 942 Mar 29 14:51 server.log.2020-03-29-14 -rw-r--r--. 1 root root 47315 Mar 29 15:56 server.log.2020-03-29-15 -rw-r--r--. 1 root root 31355 Mar 29 16:55 server.log.2020-03-29-16 -rw-r--r--. 1 root root 116986 Mar 29 17:34 state-change.log -rw-r--r--. 1 root root 1374 Mar 29 13:47 state-change.log.2020-03-29-13 -rw-r--r--. 1 root root 1145 Mar 29 14:03 state-change.log.2020-03-29-14 -rw-r--r--. 1 root root 42656 Mar 29 15:56 state-change.log.2020-03-29-15 -rw-r--r--. 1 root root 72145 Mar 29 16:48 state-change.log.2020-03-29-16 drwxr-xr-x. 2 root root 141 Mar 29 16:48 three-1

我們可以分析出?集群消費者分區幾乎都是輪詢的消費，說明分區就是一個負載均衡的作用

這個數據默認保存168小時? 保留7天? 7天自動清理

7）修改分區數?

bin/kafka-topics.sh --zookeeper backup01:2181 --alter --topic first --partitions 6

總結

以上是生活随笔為你收集整理的Kafka 命令行操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。