centos單機下部署storm，主要用于開發(fā)測試用。部署的IP地址用zoo1代替，要注意/etc/hosts下對應ip和主機名。

1、Zookeeper部署

Apache官網http://zookeeper.apache.org/下載zookeeper-3.4.8.tar.gz版本。

1）解壓在/var/zookeeper-3.4.8目錄下

#tar -xzvf/tmp/zookeeper-3.4.8.tar.gz

#cp -R /tmp/zookeeper-3.4.8/var

#rm -rf/tmp/zookeeper-3.4.8

2）建立zookeeper的data目錄和集群myid文件

#mkdir -p/var/zookeeper-3.4.8/zkdata

#cd/var/zookeeper-3.4.8/zkdata

#echo 1>myid

3）配置conf/zoo.cfg文件

拷貝zookeeper-3.4.8的conf/zoo_sample.cfg并重命名為zoo.cfg

#cpconf/zoo_sample.cfgconf/zoo.cfg

#viconf/zoo.cfg

修改dataDir：

dataDir=/var/zookeeper-3.4.8/zkdata

增加集群服務器

server.1=zoo1:2888:3888

說明：

server.A=B:C:D是集群zk使用的。如果是單個zk，可不配置。

A - 是一個數字，表示這是第幾號服務器。與/var/zookeeper-3.4.8/zkdata下的myid文件內容一致

B - 是該服務器的IP地址

C - 表示該服務器與集群中的Leader服務器交換信息的端口

D - 表示如果萬一集群中的Leader服務器掛了，需要各服務器重新選舉時所用的通訊端口

4）zookeeper目錄加入環(huán)境變量

#vi/etc/profile

加入：

#zookeeper

exportZOOKEEPER=/var/zookeeper-3.4.8

PATH=$PATH:$ZOOKEEPER/bin

#source /etc/profile

5）啟動和關閉Zookeeper

bin目錄下，配置環(huán)境變量，任何目錄下直接執(zhí)行。

#zkServer.shstart

#zkServer.shstop

6）集群配置

其他機器重復以上步驟，注意myid對應。

2、Storm部署

Apache官網http://storm.apache.org/index.html下載apache-storm-1.0.1.tar.gz版本。

1）解壓在/var/apache-storm-1.0.1

#tar -xzvf/tmp/apache-storm-1.0.1.tar.gz

#cp -R /tmp/apache-storm-1.0.1/var

#rm -rf/tmp/apache-storm-1.0.1

2）配置storm的bin目錄環(huán)境變量

#vi/etc/profile

加入：

#storm

exportSTORM=/var/apache-storm-1.0.1

PATH=$PATH:$STORM/bin

#source /etc/profile

3）創(chuàng)建一個Storm的本地數據目錄

#mkdir -p/var/apache-storm-1.0.1/workdir

4）nimbus配置conf/storm.yaml文件

storm.yaml默認配置參見

https://github.com/nathanmarz/storm/blob/master/conf/defaults.yaml

注意：配置項前面空格要去掉。

增加：

storm.local.dir:"/var/apache-storm-1.0.1/workdir "

storm.zookeeper.servers:

- "zoo1"

5）supervisor配置conf/storm.yaml文件

和nimbus配置一樣，不過要增加：

nimbus.host:"zoo1"

supervisor.slots.ports:

???? - 6700

???? - 6701

???? - 6702

其中nimbus.host是nimbus的IP或hostname；supervisor.slots.ports 是配置slot的ip地址。配了幾個地址，就有幾個slot，即幾個worker。如果嘗試提交的topology所聲明的worker數超過當前可用的slot，該topology提交會失敗。

6）啟動storm

在nimbus機器的Storm的bin目錄，已配置環(huán)境變量直接執(zhí)行。

#stormnimbus &

在supervisor機器的Storm的bin目錄，已配置環(huán)境變量直接執(zhí)行。

#stormsupervisor &

可在/var/apache-storm-1.0.1/logs下看日志，日志下分別有nimbus和supervisor。

#jps

17700QuorumPeerMain? //zookeeper進程

30038supervisor?

29948 nimbus

3、Storm命令參數集合

Commands:

activate

classpath

deactivate

dev-zookeeper

drpc

help

jar

kill

list

localconfvalue

logviewer

monitor

nimbus

rebalance

remoteconfvalue

repl

shell

supervisor

ui

version

總結

以上是生活随笔為你收集整理的在线实时大数据平台Storm单机部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。