Apache Hadoop下一代MapReduce框架(YARN)简介 (Apache Hadoop NextGen MapReduce (YARN))
英文看著頭大,先試著翻譯一下。
E文原文:http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-yarn/hadoop-yarn-site/YARN.html
翻譯真是太難了,而且我翻譯的好爛,好爛,有時候自己也只能理解個大概。
====================================begin====================================
MapReduce在hadoop-0.2.3中發生了很大的變化,現在是MapReduce?2.0,又稱為YARN。
MRv2的基本思想是將JobTracker的兩個主要功能:資源管理和作業調度/監控分割成單獨的守護進程。
我們是這樣做的:有一個全局的ResourceManager??( RM),每個應用程序都有一個ApplicationMaster ( AM ) 。一個應用程序既可以是單個的傳統意義上的Map-Reduce作業,也可以是單個DAG作業。
數據的計算框架由ResourceManager,每個節點的從站,節點管理器( NM )組成。 ResourceManager是仲裁系統中的所有應用程序的資源的最終者。
ResourceManager中有兩個主要組件:Scheduler?和ApplicationsManager 。
Scheduler因為了解容量的限制,隊列等,所以負責分配資源至各運行中的應用程序。Scheduler是純粹的調度程序,它不執行任何監視或跟蹤狀態的應用程序。此外,它不保證會重新啟動失敗的任務,無論是因為應用程序錯誤還是因為硬件故障所導致的。Scheduler履行其調度的功能,對于應用程序的資源需求,它基于抽象出的資源容器的概念,如內存,CPU ,磁盤,網絡等等的組合。在第一個版本,它僅僅支持內存。Scheduler有一個可插拔的插件策略,它負責在各種不同的隊列,應用程序等中分配群集的資源,比如當前的Map-Reduce調度器中的CapacityScheduler和FairScheduler。
CapacityScheduler支持層次化隊列,以允許更多的可預見的共享群集資源。
ApplicationsManager負責接受作業提交,協商用于執行該應用程序特定的ApplicationMaster并提供用于重啟因ApplicationMaster容器失敗的服務的第一容器。
NodeManager是每臺機器的計算框架的代理,它負責容器,監控他們的資源使用情況(CPU ,內存,磁盤,網絡)并報告到ResourceManager/Scheduler。
每個應用程序的ApplicationMaster負責從Scheduler協商恰當的資源容器,跟蹤他們的狀態和監控進程。
MRV2保持與以前的穩定版本(的hadoop - 0.20.205 )API的兼容性 。這意味著所有的Map-Reduce作業只需重新編譯一下就可以在MRv2上運行。
=========================================over====================================================
?
?
總結
以上是生活随笔為你收集整理的Apache Hadoop下一代MapReduce框架(YARN)简介 (Apache Hadoop NextGen MapReduce (YARN))的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: object-c中对文件和url操作
- 下一篇: 五年后的4.20地震