摘要： 對于創業成長型的企業來說，離線計算已經必不可少了，通過離線計算我們可以生成復雜的業務報表，通過離線計算我們也能精確的算出用戶畫像。離線計算已經當今的企業中成為了不可或缺的存在。那么使用彈性計算能夠對離線計算領域帶來什么好處呢？本文將介紹如何使用彈性計算節省企業離線計算成本。

背景

對于目前創業成長型的企業來說，離線計算已經必不可少了，通過離線計算我們可以生成復雜的業務報表，通過離線計算我們也能精確的算出用戶畫像。離線計算已經當今的企業中成為了不可或缺的存在。那么使用彈性計算能夠對離線計算領域帶來什么好處呢？小編告訴你好處肯定是有的，且聽小編娓娓道來。

常見離線計算架構

從上圖中我們用最常見的離線計算開源產品Hadoop作為例子，如上圖所示大家會把存儲服務跟計算符合放在一臺ECS上。但是隨著業務的擴張，我們對計算的需求越來越大，我們需要用數據做各種運算，為了增強離線集群的計算能力，我們會想到直接通過添加計算節點的方式來獲得。但是隨著計算節點的添加我們會遇到另一個問題，那就是資源利用率不夠的問題。雖然計算通過擴容能夠提升計算能力，但是數據可不會像計算那樣突然猛增，所以對于存儲來說擴容操作會暫時導致資源利用率的下降。再加上離線計算每天的計算時間只有一段時間，擴容之后的ECS在每天離線計算完成之后將大量空閑，這段時間將是對成本極大的浪費！那么很多客戶會想是否有一種方法能夠將計算存儲分開進行擴容，并且在離線計算的時候對計算節點擴容，在計算完成之后將擴容的計算節點釋放掉，從而達到節省成本的目的。這個架構肯定是有的，不過為了讓大家更好的理解接下來的架構，小編先要給大家介紹一下競價實例和彈性伸縮。

競價實例簡單介紹

從上面的圖中大家可以發現競價實例是一種按照供需關系變化價格波動的一種后付費類型實例，相對于按量付費實例價格有較低的折扣。不過同時競價實例是有可能隨時被阿里云釋放的，這點請大家務必注意。簡而言之就是競價實例便宜，但是可能隨時被釋放。

彈性伸縮簡單介紹

彈性伸縮總共有如下三個優點：

提升容錯能力

彈性伸縮會定時檢查ECS健康狀態，如果發現ECS不健康，那么ECS將會創建一臺新的ECS去替換它并且將不健康的ECS釋放掉。

增強可用性

彈性伸縮能夠通過定時、自動伸縮保證應用程序始終有合適的容量去滿足當前的請求流量。

優化成本

彈性計算通過自動動態的方式按需增減實例，在需要的時候添加實例，不需要的時候釋放實例，從而節約IT成本。

存儲計算分離之后的離線計算架構

經過上面對競價實例以及彈性伸縮簡單的介紹，現在小編可以大聲的告訴大家，存在一種基于彈性計算的架構能夠不僅能夠滿足用戶對于海量數據的計算能力需求，而且還能降低大家的計算成本。

• 將Hadoop的存儲計算節點分離
• 使用彈性伸縮來按時、按需創建、釋放計算計算節點
• 計算節點的付費類型采用競價方式

這里相信大家肯定又有疑問了，競價實例不是會被阿里云釋放嗎，這里使用競價實例合適嗎？答案是絕對合適的。第一競價實例的價格變量付費便宜很多，第二就算競價實例被阿里云釋放了，影響的也緊緊只是我們離線計算的速度。在上面的架構圖上小編也留了一臺ECS沒有加入伸縮組，這一臺ECS我們可以采用預付費的方式為我們計算資源提供“保底”的計算能力，當然我們也可以根據自身的需要來設置“保底”ECS的數量。

使用競價實例+彈性伸縮搭建離線計算架構Tips

Spot Instance出價策略

通過阿里云ECS的售賣頁面查看競價實例多可用區的歷史價格，從而選擇一個合理的出價。

AutoScaling伸縮組配置

• 不要在整點觸發定時擴容任務，整點擴容的客戶比較多，大家可以選擇整點過后5-10分鐘進行擴容，這樣價格相對會低一些
• 通過監測計算節點的CPU/MEM指標來觸發報警任務
• 通過在伸縮組選擇多可用區來增加成功購買競價實例的概率
• 在伸縮組內配置最大ECS數目防止彈性伸縮創建ECS數量超過預期
• 創建一條伸縮任務進行手動擴容以備不時之需

使用Spot Instance + AutoScaling成本

原文鏈接

干貨好文，請關注掃描以下二維碼：

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的离线计算成本节省的神兵利器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。