Storm精华问答 | 如何处理常见故障?
Hadoop能夠進行大批量數據的離線處理,但是在實時計算上的表現實在是不盡如人意;而Storm就可以擔當這部分的角色,今天,就讓我們看看關于Storm的精華問答吧。
1
Q:發布topology到遠程集群時,出現AlreadyAliveException(msg: xxx is alreadyactive)異常。
A:故障原因是因為提供的topology 與已經在運行的topology 重名。解決方法是在發布時換一個拓撲名稱即可。
Q:啟動Supervisor 時,出現java.lang.UnsatisfiedLinkError:
A:故障原因是未找到zmq 動態鏈接庫。
解決方法1:配置環境變量 export LD_LIBRARY_PATH=/usr/local/lib
解決方法2:編輯/etc/ld.so.conf 文件,增加一行:/usr/local/lib。再執行
sudo ldconfig 命令,重啟Supervisor。
Q:發布topologies 時,出現不能序列化log4j.Logger 的異常。
A:故障原因是日志系統無法正確支付序列化。解決方法的方式是使用slf4j 代替log4j。
Q:bolt 在處理消息時,worker 的日志中出現Failing message
A:故障原因可能是因為Topology 的消息處理超時所致。解決方法為提交Topology 時設置適當的消息超時時間,比默認消息超時時間(30秒)更長。比如:
Q:在打包toplogy工程的時候, 如果采用assembly方式,對于相關的依賴的配置一般要這樣的Xml代碼:
A: wiki上說可以用<scope>compile</scope>。然后將storm依賴設置為runtime,貌似不行。 另外就是所有的依賴包將全部解壓,然后將所有依賴的配置和class文件生成一個文件。這個是通過<unpack>true</unpack>參數來控制的。
小伙伴們沖鴨,后臺留言區等著你!
關于Storm,今天你學到了什么?還有哪些不懂的?除此還對哪些話題感興趣?快來留言區打卡啦!留言方式:打開第XX天,答:……
同時歡迎大家搜集更多問題,投稿給我們!風里雨里留言區里等你~
福利
1、掃描添加小編微信,備注“姓名+公司職位”,加入【云計算學習交流群】,和志同道合的朋友們共同打卡學習!
2、公眾號后臺回復:白皮書,獲取IDC最新數據白皮書整理資料!
推薦閱讀:
全面剖析企業私有云
30 秒?!Chrome 插件帶你速成編程學習 | 程序員硬核評測
為什么程序員下班后只關顯示器從不關電腦?
算法警告!該圖片涉嫌違規不予顯示
交易機器人春天已來?先看完這篇再說吧
2019年中國IT市場趨勢熱點
2019年最值得關注的五大微服務發展趨勢
總結
以上是生活随笔為你收集整理的Storm精华问答 | 如何处理常见故障?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 干货 | 算法和编程面试题精选TOP50
- 下一篇: 被子弹击中后会铅污染吗?