kafka Windows安装
1:安裝JDK、
2:安裝Zookeeper
?下載地址:https://zookeeper.apache.org/releases.html
? ? 下載后,解壓放在目錄D:\bigdata(本文所用的目錄)下,關(guān)于zookeeper以及kafka的目錄,路徑中最好不要出現(xiàn)空格,比如D:\Program Files,盡量別用,運(yùn)行腳本時(shí)會(huì)有問(wèn)題。
①進(jìn)入zookeeper的相關(guān)設(shè)置所在的文件目錄,例如本文的:D:\bigdata\zookeeper-3.4.10\conf
②將"zoo_sample.cfg"重命名為"zoo.cfg"
③打開(kāi)zoo.cfg(至于使用什么編輯器,根據(jù)自己喜好選即可),找到并編輯:
dataDir=/tmp/zookeeper? to? D:/bigdata/zookeeper-3.4.10/data或?D:\\bigdata\\zookeeper-3.4.10\\data(路徑僅為示例,具體可根據(jù)需要配置)
這里注意,路徑要么是"/"分割,要么是轉(zhuǎn)義字符"\\",這樣會(huì)生成正確的路徑(層級(jí),子目錄)。
④與配置jre類(lèi)似,在系統(tǒng)環(huán)境變量中添加:
??? a.系統(tǒng)變量中添加ZOOKEEPER_HOME=D:\bigdata\zookeeper-3.4.10
??? b.編輯系統(tǒng)變量中的path變量,增加%ZOOKEEPER_HOME%\bin
⑤在zoo.cfg文件中修改默認(rèn)的Zookeeper端口(默認(rèn)端口2181)
這是本文最終的zoo.cfg文件的內(nèi)容:
?
?
⑥打開(kāi)cmd窗口,輸入zkserver,運(yùn)行Zookeeper,運(yùn)行結(jié)果如下:
Zookeeper已經(jīng)安裝完成,已在2181端口運(yùn)行。
?
3 安裝kafka
下載地址:http://kafka.apache.org/downloads
? ? 要下載Binary downloads這個(gè)類(lèi)型,不要下載源文件,這種方便使用。下載后,解壓放在D:\bigdata目錄下。
?
①進(jìn)入kafka配置文件所在目錄,D:\bigdata\kafka_2.11-0.9.0.1\config
?
②編輯文件"server.properties",找到并編輯:
?
?log.dirs=/tmp/kafka-logs? to? log.dirs=D:/bigdata/kafka_2.11-0.9.0.1/kafka-logs 或者 D:\\bigdata\\kafka_2.11-0.9.0.1\\kafka-logs
?
同樣注意:路徑要么是"/"分割,要么是轉(zhuǎn)義字符"\\",這樣會(huì)生成正確的路徑(層級(jí),子目錄)。錯(cuò)誤路徑情況可自行嘗試,文件夾名為這種形式:bigdatakafka_2.11-0.9.0.1kafka-logs
?
③在server.properties文件中,zookeeper.connect=localhost:2181代表kafka所連接的zookeeper所在的服務(wù)器IP以及端口,可根據(jù)需要更改。本文在同一臺(tái)機(jī)器上使用,故不用修改。
?
④啟動(dòng)kafka:
在命令行中輸入:.\bin\windows\kafka-server-start.bat .\config\server.properties ? 回車(chē)。
kafka會(huì)按照默認(rèn)配置,在9092端口上運(yùn)行,并連接zookeeper的默認(rèn)端口2181。
?
3 增加kafka用戶
(1)
# 添加下面的配置? ip和端口改成自己需要
listeners=SASL_PLAINTEXT://xx.xx.xx.xx:8123
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
(2)
在config目錄添加kafka_server_jaas.conf 文件 此文件是服務(wù)端 設(shè)置用戶名? 和密碼
KafkaServer {
??? org.apache.kafka.common.security.plain.PlainLoginModule required
??? username="kafka"
??? password="kafkapswd"
??? user_kafka="kafkapswd"
??? user_mooc="moocpswd";
};
其中 Kafka 定義了關(guān)鍵字KafkaServer字段用于指定服務(wù)端登錄配置。該配置通過(guò)org.apache.
org.apache.kafka.common.security.plain.PlainLoginModule由指定采用PLAIN 機(jī)制, 定義了兩個(gè)用戶, 用戶通
過(guò)usemame 和password 指定該代理與集群其他代理初始化連接的用戶名和密碼, 通過(guò)“ user_ "
為前綴后接用戶名方式創(chuàng)建連接代理的用戶名和密碼,例如, user_mooc = "moocpswd” 是指
用戶名為mooc, 密碼為moocpswd
?
(3)
在config目錄添加kafka_client_jaas.conf
KafkaClient {
??????? org.apache.kafka.common.security.plain.PlainLoginModule required
??????? username="mooc"
??????? password="moocpswd";
};
?(4)
修改目錄/usr/local/kafka_2.12-1.1.1/bin 下的 kafka-server-start.sh文件 。 我的做法也是復(fù)制出來(lái)一份 ,然后進(jìn)行修改
kafka-server-start-saal.sh? 添加以下文件
if [ "x$KAFKA_OPTS"? ]; then
??? export KAFKA_OPTS="-Djava.security.auth.login.config=/usr/local/kafka_2.12-1.1.1/config/kafka_server_jaas.conf"
fi
(5)
?
修改目錄/usr/local/kafka_2.12-1.1.1/bin 下的? kafka-console-producer.sh 和 kafka-console-consumer.sh 文件
?
也是 都各自復(fù)制一份 在復(fù)制上面進(jìn)行修改
if [ "x$KAFKA_OPTS"? ]; then
??? export KAFKA_OPTS="-Djava.security.auth.login.config=/usr/local/kafka_2.12-1.1.1/config/kafka_client_jaas.conf"
fi
?
?
轉(zhuǎn)載于:https://www.cnblogs.com/mrray/p/10895863.html
總結(jié)
以上是生活随笔為你收集整理的kafka Windows安装的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 茶觉 | “治愈”的白牡丹
- 下一篇: 7.Mahout菩萨