在线实时大数据平台Storm本地模式运行的一个小发现
1、現象:生產中分別部署了兩臺服務器,獨立運行storm,然后拓撲程序提交是本地模式,發現不用啟動storm和zookeeper也可以運行;
#jps ?沒有下面進程
?QuorumPeerMain ?//zookeeper進程
?supervisor ?
?nimbus
2、驗證:在拓撲程序中增加參數傳遞,1代表本地模式,2代表集群模式
? ? ?1)關閉集群后,傳參1運行本地模式成功,傳參2運行集群模式失敗;
? ? ? 2)啟動集群后,傳參2集群模式提交運行,成功;
? ? 本地模式:不用啟動storm和zookeeper集群
? storm jar /tmp/glabeling.jar com.glabeling.GlabelingInfoTopology?-N 1-C /tmp/glabeling.xml?> /tmp/storm.logs
? ?集群模式:需啟動storm和zookeeper集群
storm jar?/tmp/glabeling.jar com.glabeling.GlabelingInfoTopology?-N 2?-C /tmp/glabeling.xml?> /tmp/storm.logs
3、過程中,對zookeeper作用記錄下:
Storm中使用Zookeeper主要用于Storm集群各節點的分布式協調工作,具體功能如下:
(1)存儲客戶端提供的topology任務信息,nimbus負責將任務分配信息寫入Zookeeper,supervisor從Zookeeper上讀取任務分配信息;
(2)存儲supervisor和worker的心跳(包括它們的狀態),使得nimbus可以監控整個集群的狀態, 從而重啟一些掛掉的worker;
(3)存儲整個集群的所有狀態信息和配置信息。
總結
以上是生活随笔為你收集整理的在线实时大数据平台Storm本地模式运行的一个小发现的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java解码网页表单post内容小记
- 下一篇: shell一段脚本的一点经验(实时文件流