关于yarn.nodemanager.vmem-pmem-ratio的通俗解释
生活随笔
收集整理的這篇文章主要介紹了
关于yarn.nodemanager.vmem-pmem-ratio的通俗解释
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
這個東西就是虛擬內存,
扯皮起來的話,要回到上古時代x86系統,
那個年代內存超級貴,于是從硬盤借用空間,模擬出一個內存空間,所以稱為虛擬內存。
那么這里的ratio是啥意思呢?
因為虛擬內存的性能比真實性能差一些,所以spark的yarn-site.xml中有這個的變量的意思是:
在物理內存不夠用的情況下,如果占用了大量虛擬內存并且超過了一定閾值,那么就認為當前集群的性能比較差,直接讓你的終端報個錯提醒你。
spark中的虛擬內存和操作系統中的虛擬內存是不是一個東西?
答案:是的[1]
Reference:
[1]YARN 內存參數終極詳解
總結
以上是生活随笔為你收集整理的关于yarn.nodemanager.vmem-pmem-ratio的通俗解释的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 搭建多商户商城系统的好处有哪些
- 下一篇: 解读高端网站建设要做好哪些细节