1、Kafka簡介
Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。
kafka對消息保存時根據Topic進行歸類，發送消息者成為Producer,消息接受者成為Consumer,此外kafka集群有多個kafka實例組成，每個實例(server)成為broker。
無論是kafka集群，還是producer和consumer都依賴于zookeeper來保證系統可用性集群保存一些meta信息。


2、Kafka安裝和啟動


1)下載并解壓kafka_2.10-0.10.1.1.tgz
? #tar -xzvf kafka_2.10-0.10.1.1.tgz


2)下載并解壓zookeeper-3.4.6.tar.gz
? #tar -xzvf zookeeper-3.4.6.tar.gz


3)啟動單實例Zookkeeper服務
? #cd zookeeper-3.4.6
? conf文件夾中新建名zoo.cfg文件，可復制zoo_sample.cfg文件進行相應修改。
? 啟動服務：
? #bin/zkServer.sh &
??
4)啟動Kafka服務
? ?#cd kafka_2.10
? ?配置config/server.properties相應信息，如zookeeper.connect；
? ?啟動服務：
? ?#bin/kafka-server-start.sh config/server.properties &


3、測試：
? ?1)創建topic
? ?#bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test0307
? ?通過list命令查看創建的topic:
? ?#bin/kafka-topics.sh --list --zookeeper localhost:2181
? ?2)生產消息
? ? Kafka 使用一個簡單的命令行producer，從文件中或者從標準輸入中讀取消息并發送到服務端。
? ? 默認的每條命令將發送一條消息。運行producer并在控制臺中輸一些消息，這些消息將被發送到服務端：
? ? #bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test0307
? ? ?I am testing kafka for inputing message into HDFS.
? ? ?不發送就ctrl+c退出。
? ?3)消費消息
? ? ?Kafka命令行consumer可以讀取消息并輸出到標準輸出：
? ? ?#bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test0307 --from-beginning


4、后續待研究：?
1）這是單實例測試，可以在一臺機子上配置多個broker，也可以建立kafka集群。
2）kafka的producer可以來自flume的sink，其consumer可以輸出到hdfs中。
參考：http://www.cnblogs.com/cssdongl/p/6077311.html

總結

以上是生活随笔為你收集整理的分布式发布订阅消息系统Kafka单实例测试的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。