一、基本組成結構

1. ResourceManager

負責對各個NodeManager 上的資源進行統(tǒng)一管理和調(diào)度。包含兩個組件：
* Scheduler：調(diào)度器根據(jù)容量、隊列等限制條件（如每個隊列分配一定的資源，最多執(zhí)行一定數(shù)量的作業(yè)等），將系統(tǒng)中的資源分配給各個正在運行的應用程序
* Applications Manager：應用程序管理器負責管理整個系統(tǒng)中所有應用程序，包括應用程序提交、與調(diào)度器協(xié)商資源以啟動ApplicationMaster、監(jiān)控ApplicationMaster運行狀態(tài)并在失敗時重新啟動它等

2. NodeManager

NM 是每個節(jié)點上的資源和任務管理器。
* 定時地向RM 匯報本節(jié)點上的資源使用情況和各個Container 的運行狀態(tài)
* 接收并處理來自AM 的Container啟動/ 停止等各種請求

3. ApplicationMaster

用戶提交的每個應用程序均包含一個AM，主要功能包括：
* 與RM 調(diào)度器協(xié)商以獲取資源（用 Container 表示）
* 將得到的任務進一步分配給內(nèi)部的任務
* 與 NM 通信以啟動 / 停止任務
* 監(jiān)控所有任務運行狀態(tài)，并在任務運行失敗時重新為任務申請資源以重啟任務

4. Container

Container 是YARN 中的資源抽象， 它封裝了某個節(jié)點上的多維度資源， 如內(nèi)存、CPU、磁盤、網(wǎng)絡等，當AM 向RM 申請資源時，RM 為AM 返回的資源便是用Container表示的。

二、YARN 的工作流程

用戶向YARN 中提交應用程序， 其中包括ApplicationMaster 程序、啟動ApplicationMaster 的命令、用戶程序等。

ResourceManager 為該應用程序分配第一個Container，并與對應的Node-Manager 通信，要求它在這個Container中啟動應用程序的ApplicationMaster。

ApplicationMaster 首先向ResourceManager 注冊，這樣用戶可以直接通過ResourceManage 查看應用程序的運行狀態(tài)，然后它將為各個任務申請資源，并監(jiān)控它的運行狀態(tài)，直到運行結束，即重復步驟4~7。

ApplicationMaster 采用輪詢的方式通過RPC 協(xié)議向ResourceManager 申請和領取資源。

一旦ApplicationMaster 申請到資源后，便與對應的NodeManager 通信，要求它啟動任務。

NodeManager 為任務設置好運行環(huán)境（包括環(huán)境變量、JAR 包、二進制程序等）后，將任務啟動命令寫到一個腳本中，并通過運行該腳本啟動任務。

各個任務通過某個RPC 協(xié)議向ApplicationMaster 匯報自己的狀態(tài)和進度，以讓ApplicationMaster 隨時掌握各個任務的運行狀態(tài)，從而可以在任務失敗時重新啟動任務。在應用程序運行過程中，用戶可隨時通過RPC向ApplicationMaster 查詢應用程序的當前運行狀態(tài)。

應用程序運行完成后，ApplicationMaster 向ResourceManager 注銷并關閉自己。

總結

以上是生活随笔為你收集整理的YARN体系学习笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。