1.1.HDP YARN MapReduce參數調優建議

轉自：https://blog.csdn.net/mnasd/article/details/81202908

1.1.1.RM的內存資源配置，配置的是資源調度相關

RM1：yarn.scheduler.minimum-allocation-mb 分配給AM單個容器可申請的最小內存（默認是1G）
RM2：yarn.scheduler.maximum-allocation-mb 分配給AM單個容器可申請的最大內存（默認是yarn.nodemanager.resource.memory-mb的值）

注：
?最小值可以計算一個節點最大Container數量（可以適當調大一些，比如2GB）
?一旦設置，不可動態改變

1.1.2.NM的內存資源配置，配置的是硬件資源相關

NM1：yarn.nodemanager.resource.memory-mb 節點最大可用內存
NM2：yarn.nodemanager.vmem-pmem-ratio 虛擬內存率，默認2.1 （可以是5，有些場景下如果內存不足，會導致任務跑失敗）

注：
?RM1、RM2的值均不能大于NM1的值
?NM1可以計算節點最大最大Container數量，max(Container)=NM1/RM2

一旦設置，不可動態改變

1.1.3.AM內存配置相關參數，配置的是任務相關

總結

以上是生活随笔為你收集整理的手工计算YARN和MapReduce、tez内存配置设置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。