storm topology优化思路是什么
本篇內容主要講解“storm topology優化思路是什么”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“storm topology優化思路是什么”吧!
先假設一種環境,三臺機器,cpu core 4,net KM 網
topology
componentnameexecutor latency(ms)spouts-boltA0.5boltB0.1boltC0.5boltD1.0boltE0.2
executor代表數據進入bolt execute方法執行的時間,storm通過采樣獲得,采樣在總數上肯定會有誤差,但平均數我們暫且認為其一定,這就相當于在1W個1中隨機選擇一個,怎么選都是1,所以暫且我們假設executor latency可信,最后我們通過實際效率反過來再驗證我們的假設
假定,我們以一種參數提交了topology,運行后ui查看參數如表格,我們觀察發現,A,C 兩個bolt延遲在0.5ms,B bolt延遲在0.1ms,D bolt延遲在1.0ms,E bolt延遲在0.2ms,所以可以認為性能:B=2E=5A=5C=10D,所以我們提高整個topology的效率可以調整各bolt的并行度,我們設B的并行度為X,可以得出 X+2X+5X*2+10X=All executor,如果在某個bolt中有阻塞情況,我們可以再額外提高一些并行度,該環境中三臺機器,最大并行度為3*4=12,X》=1,所以X=1,由此可得出,B bolt并行度為1,所以每秒處理效率大概=1000/0.1*1=1W
另外在storm中每個worker有個線程池,池大小默認為core數,我們可以根據情況提高池大小,提高cpu利用率
其它參數這里不提了,根據實際情況可以酌情調整
到此,相信大家對“storm topology優化思路是什么”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
總結
以上是生活随笔為你收集整理的storm topology优化思路是什么的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 企业如何通过CRM进行科学的数据管理
- 下一篇: DigitalOcean教程:如何添加付