CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源
公平調(diào)度配置可參考:http://datamining.blog.csdn.net/article/details/94554469
目錄
計劃模式設(shè)置
隊列資源搶占分配
?
計劃模式設(shè)置
1.創(chuàng)建計劃規(guī)則
?
2.設(shè)置白天配置,可以根據(jù)業(yè)務選擇具體配置計劃,調(diào)整資源,選擇每天,就是每天的固定時間范圍。這里選擇每天,時間初步劃分為區(qū)分白天和晚上
?3.創(chuàng)建完成后可以看到配置的計劃,然后點擊刷新動態(tài)資源池,使配置生效
4. 根據(jù)設(shè)置的計劃,在資源池中,配置計劃時間需要的資源
?
?5.根據(jù)計劃配置具體參數(shù)
?6.分配的結(jié)果如下
白天 root.test 隊列權(quán)重為5,晚上 root.hdfs 隊列權(quán)重為5
?
?
7.兩個隊列同時執(zhí)行任務,白天執(zhí)行效果(執(zhí)行一個隊列會把所有資源占用)
?
8.兩個隊列同時執(zhí)行任務,晚上執(zhí)行效果(執(zhí)行一個隊列會把所有資源占用)
?
隊列資源搶占分配
?當資源分配如下圖所示,如只啟動root.hdfs和root.test隊列,權(quán)占比大的隊列,會占用其他沒有程序的隊列(root.default),而root.test隊列只使用自己的資源(可能會有部分搶占但是較少),也就是權(quán)占比大的隊列,會占用其他未使用資源。
資源分配:
?
隊列資源使用(啟動的任務時相同的操作)?
上圖是三個隊列資源分配,四個隊列同樣是權(quán)重大的搶占其他資源多,權(quán)重小的基本使用自己資源(搶不過)~?
總結(jié)
以上是生活随笔為你收集整理的CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Solr 基础性能调优讲解
- 下一篇: Impala-shell 查询异常 -