目錄

• 一、Yarn資源調(diào)度器
• • Yarn 基礎(chǔ)架構(gòu)
• 二、YARN工作機(jī)制
• 三、作業(yè)提交全過程
• • 1. HDFS、YARN、MapReduce三者關(guān)系
  • 2. 作業(yè)提交過程(YARN)
  • 3. 作業(yè)提交過程(HDFS & MapReduce)

一、Yarn資源調(diào)度器

??：YARN是一個(gè)資源調(diào)度平臺(tái)，負(fù)責(zé)為運(yùn)算程序提供服務(wù)器運(yùn)算資源，相當(dāng)于一個(gè)分布式的操作系統(tǒng)平臺(tái)，而MapReduce等運(yùn)算程序則相當(dāng)于操作系統(tǒng)上的應(yīng)用程序。

作用：
YARN負(fù)責(zé)管理集群資源；
負(fù)責(zé)給任務(wù)合理分配資源。

Yarn 基礎(chǔ)架構(gòu)

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等組件構(gòu)成。

二、YARN工作機(jī)制

MR程序提交到客戶端所在的節(jié)點(diǎn)；

YarnRunner向ResourceManager申請一個(gè)Application；

RM將該應(yīng)用程序的資源路徑返回給YarnRunner；

該程序?qū)⑦\(yùn)行所需資源提交到HDFS上；

程序資源提交完畢后，申請運(yùn)行MrAppMaster；

RM將用戶的請求初始化成一個(gè)Task；

其中一個(gè)NodeManager領(lǐng)取到Task任務(wù)；

該NodeManager創(chuàng)建容器Container，并產(chǎn)生MrAppMaster；

Container從HDFS上拷貝資源到本地；

MrAppMaster向 RM申請運(yùn)行MapTask資源；

RM將運(yùn)行MapTask任務(wù)分配給另外2x NodeManager，另外2x NodeManager分別領(lǐng)取任務(wù)并創(chuàng)建容器；

MR向2x接收到任務(wù)的NodeManager發(fā)送程序啟動(dòng)腳本，這兩個(gè)NodeManager分別啟動(dòng)MapTask，MapTask對(duì)數(shù)據(jù)分區(qū)排序；

MrAppMaster等待所有MapTask運(yùn)行完畢后，向RM申請容器，運(yùn)行ReduceTask；

ReduceTask向MapTask獲取相應(yīng)分區(qū)的數(shù)據(jù)；

程序運(yùn)行完畢后，MR會(huì)向RM申請注銷自己。

三、作業(yè)提交全過程

1. HDFS、YARN、MapReduce三者關(guān)系

2. 作業(yè)提交過程(YARN)

3. 作業(yè)提交過程(HDFS & MapReduce)

HDFS的讀寫數(shù)據(jù)流程==>

作業(yè)提交全過程：

• 一、作業(yè)提交

Client調(diào)用job.waitForCompletion()方法，向整個(gè)集群提交MapReduce作業(yè)；

Client向RM申請一個(gè)作業(yè)id；

RM給Client返回該job資源的提交路徑和作業(yè)id；

Client提交jar包、切片信息和配置文件到指定的資源提交路徑；

Client提交完資源后，向RM申請運(yùn)行MrAppMaster；

• 二、作業(yè)初始化

當(dāng)RM收到Client的請求后，將該job添加到容器調(diào)度器中；

某一個(gè)空閑的NM領(lǐng)取到該job；

該NM創(chuàng)建Container，并產(chǎn)生MrAppMater；

Container從HDFS上下載Client提交的資源到本地；

• 三、任務(wù)分配

MrAppMater向RM申請運(yùn)行多個(gè)MapTask任務(wù)資源；

RM將運(yùn)行MapTask任務(wù)分配給另外2x NodeManager，另外2x NodeManager分別領(lǐng)取任務(wù)并創(chuàng)建容器；

• 四、任務(wù)運(yùn)行

MR向 2x 接收到任務(wù)的NodeManager發(fā)送程序啟動(dòng)腳本，這兩個(gè)NodeManager分別啟動(dòng)MapTask，MapTask對(duì)數(shù)據(jù)分區(qū)排序；

MrAppMaster等待所有MapTask運(yùn)行完畢后，向RM申請容器，運(yùn)行ReduceTask；

ReduceTask向MapTask獲取相應(yīng)分區(qū)的數(shù)據(jù)；

程序運(yùn)行完畢后，MR會(huì)向RM申請注銷自己。

• 五、進(jìn)度和狀態(tài)更新

YARN中的任務(wù)將其進(jìn)度和狀態(tài)(包括counter)返回給應(yīng)用管理器，客戶端每秒(通過 mapreduce.client.progressmonitor.pollinterval 設(shè)置)向應(yīng)用管理器請求進(jìn)度更新，展示給用戶。

• 六、作業(yè)完成?

除了向應(yīng)用管理器請求作業(yè)進(jìn)度外，客戶端每5秒都會(huì)通過調(diào)用waitForCompletion()方法來檢查作業(yè)是否完成。時(shí)間間隔可以通過mapreduce.client.completion.pollinterval 來設(shè)置。作業(yè)完成之后，應(yīng)用管理器和Container會(huì)清理工作狀態(tài)，作業(yè)的信息會(huì)被歷史服務(wù)器存儲(chǔ)以備后續(xù)用戶核查。

總結(jié)

以上是生活随笔為你收集整理的hadoop--Yarn资源调度器的基础架构、工作机制 与 作业提交全过程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。