當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Hadoop2.0 YARN

發(fā)布時間：2025/4/5 编程问答 14 豆豆

生活随笔收集整理的這篇文章主要介紹了 Hadoop2.0 YARN 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

前言：Hadoop2.0中的YARN

YARN產(chǎn)生背景

第一代MapReduce（MRv1）的局限性

擴(kuò)展性差。MRv1中JobTracker兼?zhèn)浼嘿Y源的管理和作業(yè)管理的調(diào)度和控制兩大功能，使得JobTracker功能多，負(fù)載大

可靠性差。

資源利用率低。MapSolt和ReduceSolt不能混用，存在一個槽位資源緊張，而另一個操作資源空閑

無法支持多種計算框架。因為Hadoop1.0不能將資源管理與應(yīng)用程序分開

非MapReduce作業(yè)

將資源管理功能抽象成一個獨立的通用系統(tǒng)YARN（Yet Another Resource Negotiator，另一種資源協(xié)調(diào)者），進(jìn)而誕生下一代MapReduce計算框架MRv2

YARN的優(yōu)勢

共享集群資源。

節(jié)約成本。多個框架一個集群，集群數(shù)量減少，人力資源成本減少

共享數(shù)據(jù)

YARN架構(gòu)

組成

全局資源管理器

階段管理器

應(yīng)用程序主機(jī)

容器（Container）。YARN中的資源抽象，可動態(tài)調(diào)整；計算任務(wù)運(yùn)行在container中

YARN通信協(xié)議-RPC協(xié)議（網(wǎng)絡(luò)協(xié)議，通訊協(xié)議+尋址+數(shù)據(jù)序列化），為與互聯(lián)網(wǎng)兼容

任務(wù)執(zhí)行流程

當(dāng)用戶向YARN中提交一個應(yīng)用程序后，YARN將分兩個階段運(yùn)行該應(yīng)用程序：

第一個階段是啟動Application Master；

第二個階段是由Application Master創(chuàng)建應(yīng)用程序，為它申請資源Container，并監(jiān)控它的整個運(yùn)行過程，直至運(yùn)行完成為止

調(diào)度器

FIFO調(diào)度器。隊列，弊端：大任務(wù)會占用集群資源，阻塞小任務(wù)的執(zhí)行

計算能力調(diào)度器。分區(qū)隊列。創(chuàng)建多個隊列，劃分不同資源

公平調(diào)度器。為所有運(yùn)行的應(yīng)用程序公平分配資源
阻塞小任務(wù)的執(zhí)行

計算能力調(diào)度器。分區(qū)隊列。創(chuàng)建多個隊列，劃分不同資源

公平調(diào)度器。為所有運(yùn)行的應(yīng)用程序公平分配資源

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Hadoop2.0 YARN的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

yarn