Twitter Storm安装配置(Ubuntu系统)单机版
要使用storm首先要安裝以下工具:JDK、Python、zookeeper、zeromq、jzmq、storm
(注:各個(gè)模塊都是獨(dú)立的,如果安裝失敗或者卡頓可以單獨(dú)百度某個(gè)模塊的安裝,都是可以的。)
JDK1.7安裝 參見上篇《Ubuntu下安裝配置JDK1.7》http://www.cnblogs.com/stone_w/p/4469548.html
?
第一步,安裝Python2.7.2(ubuntu)
wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz tar zxvf Python-2.7.2.tgz cd Python-2.7.2 ./configure make make install vi /etc/ld.so.conf 追加/usr/local/lib/ sudo ldconfig?
第二步,安裝zookeeper??
下載zookeeper?
解壓,安裝:http://pan.baidu.com/s/1jGjA90M
zookeeper的單機(jī)安裝已經(jīng)完成了。
?
第三步,安裝zeromq以及jzmq
jzmq的安裝貌似是依賴zeromq的,所以應(yīng)該先裝zeromq,再裝jzmq。
1)安裝zeromq:
zeromq安裝完成。
注意:如有有依賴報(bào)錯(cuò),需要安裝:
jzmq?dependencies?依賴包
sudo?yum?install?uuid*
sudo?yum?install?libtool
sudo?yum?install?libuuid?
sudo?yum?install?libuuid-devel
2)安裝jzmq
然后,jzmq就裝好了.
注意:在./autogen.sh這步如果報(bào)錯(cuò):autogen.sh:error:could?not?find?libtool?is?required?to?run?autogen.sh,這是因?yàn)槿鄙倭薼ibtool,可以用#yum?install?libtool*來解決。
第四步,安裝Storm
我使用的Storm版本是最新的穩(wěn)定版0.8.2,下載,解壓,修改/conf/storm.yaml配置文件:
Storm?0.8.2?下載??http://pan.baidu.com/s/1sjODKPB
unzip storm-0.8.2.zip mv storm-0.8.2 /usr/local/ ln -s /usr/local/storm-0.8.2/ /usr/local/storm gedit /etc/profile export STORM_HOME=/usr/local/storm-0.8.2 export PATH=$PATH:$STORM_HOME/bin到此為止單機(jī)版的Storm就安裝完畢了。
啟動(dòng)Storm
/usr/local/zookeeper/bin/zkServer.sh start cd /usr/local/storm-0.8.2 bin/storm nimbus & bin/storm supervisor & bin/storm ui &如果我們沒有為storm添加環(huán)境變量,那么在啟動(dòng)的時(shí)候,我們就需要使用絕對(duì)路徑或相對(duì)路徑來定位/chenny/Storm/storm-0.8.2/bin/storm這個(gè)程序。啟動(dòng)完成后,我們可以使用jps來查看進(jìn)程狀態(tài):?>>jps????在沒有運(yùn)行任務(wù)時(shí),我們必須應(yīng)該要看到5個(gè)進(jìn)程:QuorumPeerMain、nimbus、core、Jps、supervisor。否則?就需要檢查是否正確地啟動(dòng),如果啟動(dòng)之后沒有過多久就停止了,我們就需要查看~/storm-0.8.2/logs下面的對(duì)應(yīng)的log文件,查看引起異常?的原因是什么,然后解決后再次啟動(dòng)。????同時(shí),我們可以在瀏覽器中輸入http://127.0.0.1:8080來進(jìn)入Storm?UI的界面,可以查看Storm運(yùn)行期間的相關(guān)信息。
?
第五步,測(cè)試一下本地模式的WordCount
網(wǎng)上別的資料介紹了許多方式來編譯可執(zhí)行的Topology程序,我們這里提供一個(gè)簡(jiǎn)單的辦法,只需要使用Eclipse和相關(guān)的Jar包即?可,Ubuntu或者Windows環(huán)境下均可。我們需要從github上下載下來一個(gè)供初學(xué)者學(xué)習(xí)的storm-starter,同時(shí),我們還需要有?commons-collections-3.2.1-bin.tar.gz、twitter4j-2.2.6.zip和storm-0.8.2.zip?等軟件包,如果沒有的話,需要去下載。以Windows?XP下的Eclipse為例。首先我們將所有需要的包解壓放到桌面,打開Eclipse,新建Java?Project,名字任意取,我取名叫做MyFirstStormApp,然后點(diǎn)擊Finish。
在MyFirstStormApp上右鍵,選擇Import,然后選擇File?System:
在From?Directory中輸入相應(yīng)的路徑或者點(diǎn)擊Browse,選擇路徑:
?
我們依次展開storm-starter-master/src/jvm/storm,選中jvm文件夾,點(diǎn)擊確定,然后勾選jvm,點(diǎn)擊finish:
這樣,我們就在左側(cè)看到Project的結(jié)構(gòu):?
?
拖動(dòng)storm到src中,然后安裝同樣的方式將?storm-starter-master/storm-starter-master/multilang導(dǎo)入到項(xiàng)目中,然后我們就在左側(cè)看到如下圖所示的結(jié)構(gòu):
可以看到上面有很多紅叉,此時(shí),我們就需要導(dǎo)入項(xiàng)目所依賴的jar包,在項(xiàng)目上右鍵,選擇Properties,然后Java?Build?Path,切換到Libraries選項(xiàng)夾下,點(diǎn)擊Add?External?JARs:?
將storm-0.8.2/lib目錄下的所有jar包都加入到項(xiàng)目中,將
commons-collections-3.2.1.jar添加到?項(xiàng)目中,將twitter4j-2.2.6/lib中的所有jar包加入到項(xiàng)目中,將storm-0.8.2/storm-0.8.2.jar加入到項(xiàng)目?中,然后點(diǎn)擊OK,這個(gè)時(shí)候,可以看到項(xiàng)目中的所有錯(cuò)誤都消失了。接下來,我們將PrintSampleStream.java和?TwitterSampleSpout.java中的注釋取消,或者將這兩個(gè)文件刪除
在項(xiàng)目上選擇Export,然后選擇JAR?file,在下一頁,我們將項(xiàng)目導(dǎo)出,勾選如下圖所示:
?
點(diǎn)擊finish后,如果沒有錯(cuò)誤,只有warning的話,就不用管了,否則我們需要檢查錯(cuò)誤,然后重新打包。打包后的jar包是MyFirstStormApp.jar,將它拷貝到部署有Storm的機(jī)器上(/usr/local/storm-0.8.2目錄下),然后在終端中輸入:?
>>bin/storm?jar?MyFirstStormApp.jar?storm.starter.WordCountTopology?test2???如果沒有錯(cuò)誤,就成功提交了,在瀏覽器中輸入http://127.0.0.1:8080,可以看到這個(gè)Topology已經(jīng)在運(yùn)行了,點(diǎn)擊它的名字,可以進(jìn)入Topology?summary:
如果看到這些數(shù)據(jù),就說明我們正確地完成了配置。
?
總結(jié)
以上是生活随笔為你收集整理的Twitter Storm安装配置(Ubuntu系统)单机版的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Everything是如何搜索的
- 下一篇: 动态类型var和dynamic和传统确定