官網鏈接

任何文檔都沒有比官網提供的更權威、更準確

https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

說明

• vim如下兩個配置文件
• 分發至所有節點
• 重啟yarn

vim fair-scheduler.xml

<!-- 隊列最小資源 --><minResources>2048mb,2vcores</minResources><!-- 隊列最大資源 --><maxResources>4096mb,4vcores</maxResources><!-- 隊列中最多同時運行的應用數，默認 50，根據線程數配置 --><maxRunningApps>4</maxRunningApps><!-- 隊列中 Application Master 占用資源的最大比例 --><maxAMShare>0.5</maxAMShare><!-- 該隊列資源權重,默認值為 1.0 --><weight>1.0</weight><!-- 隊列內部的資源分配策略 --><schedulingPolicy>fair</schedulingPolicy></queue><!-- 任務隊列分配策略,可配置多層規則,從第一個規則開始匹配,直到匹配成功 --><queuePlacementPolicy><!-- 提交任務時指定隊列,如未指定提交隊列,則繼續匹配下一個規則; false 表示：如果指定隊列不存在,不允許自動創建--><rule name="specified" create="false"/><!-- 提交到 root.group.username 隊列,若 root.group 不存在,不允許自動創建；若root.group.user 不存在,允許自動創建 --><rule name="nestedUserQueue" create="true"><rule name="primaryGroup" create="false"/></rule><!-- 最后一個規則必須為 reject 或者 default。Reject 表示拒絕創建提交失敗，default 表示把任務提交到 default 隊列 --><rule name="default" /></queuePlacementPolicy> </allocations>

vim yarn-site.xml

<!--配置公平調度器--> <property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value><description>配置使用公平調度器</description> </property> <property><name>yarn.scheduler.fair.allocation.file</name><value>/opt/dmgeo/bigdata/apps/hadoop-2.9.2/etc/hadoop/fair-scheduler.xml</value><description>指明公平調度器隊列分配配置文件</description> </property> <property><name>yarn.scheduler.fair.preemption</name><value>false</value><description>禁止隊列間資源搶占</description> </property>

總結

以上是生活随笔為你收集整理的hadoop 2.9.2 yarn配置公平调度器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。