2019獨角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

一個HDFS集群（簡單理解我們搭建的Hadoop集群）即一個namenode與N個datanode的組合。

1.?namenode節(jié)點-Master節(jié)點：?

????（1）namenode是整個HDFS系統(tǒng)的入口，響應(yīng)用戶請求并實現(xiàn)對文件的管理操作。?
? ? （2）管理文件劃分為多少個block塊；管理這些文件塊備份多少份，以及保存在哪些設(shè)備（datanode）上。?
? ? （3）監(jiān)控datanode的健康狀況，確保所掌控的從屬節(jié)點都能正常運轉(zhuǎn)；如有意外，會執(zhí)行數(shù)據(jù)從健康節(jié)點復(fù)制轉(zhuǎn)移到新節(jié)點，保證備份數(shù)量足夠和有效。

2.?datanode節(jié)點-Slave節(jié)點：?

????（1）響應(yīng)namenode最終執(zhí)行用戶對文件的讀寫請求。
? ? （2）將文件最終通過block文件塊的形式保存在硬盤上；根據(jù)namenode的要求保存這些文件塊的副本。?
? ? （3）datanode是數(shù)據(jù)存儲節(jié)點，也是數(shù)據(jù)運算節(jié)點。也就是說datanode和tasktracker是重疊的，他們執(zhí)行在同一臺機器上。

3.?HDFS文件系統(tǒng)的工作流程：?

????下圖簡單描述了HDFS文件系統(tǒng)的工作流程。其中并沒有說明MapReduce的相關(guān)內(nèi)容，下一章節(jié)將做出講解。圖中對secondarynamenode節(jié)點的工作做了簡單描述，目前略過這一部分。
? ? 圖中涉及到多個配置標(biāo)簽，它們關(guān)系到集群在實際工作中到底會有多少個datanode節(jié)點；到底會將文件分為多少個block文件塊；到底會將文件保存多少備份等等。這些也將在之后的MapReduce深入講解中做出說明。?

4.?HDFS數(shù)據(jù)安全機制：?

????（1）Block文件塊：
? ? 一個block塊默認(rèn)保存三份（hdfs-site.xml中dfs.replication的配置），一在NameNode指定DataNode節(jié)點；一在與指定節(jié)點相同機架的DataNode；一在與指定節(jié)點不同機架的DataNode。具體位置是由Hadoop內(nèi)置算法決定的。
? ? Block文件塊的大小默認(rèn)為64MB（hdfs-site.xml中dfs.block.size的配置，單位kb），如果文件大于這個數(shù)值，將被分塊；如果小于等于，將默認(rèn)按原大小保存。

????（2）心跳檢測：
? ? 也就是實時檢測，jobstracker每隔3秒（hdfs-site.xml中heartbeat.recheck.interval配置，單位s）即檢測tasktracker的健康狀況；同時tasktracker每個指定時間會上報自身的運行狀況。?

????（3）數(shù)據(jù)均衡：
? ? 當(dāng)某個從屬節(jié)點上的數(shù)據(jù)超過磁盤空間的既定比例（使用HDFS的balancer命令配置Threshold值），那么部分?jǐn)?shù)據(jù)會被轉(zhuǎn)移到其它磁盤使用率較低的從屬節(jié)點上。這在安裝新的從屬節(jié)點時非常有用。?

????（4）數(shù)據(jù)校驗：
? ? 當(dāng)HDFS在磁盤上保存文件塊的時候會給其添加CRC32校驗信息，當(dāng)從某從屬節(jié)點讀取這個文件塊是會先讀取這部分校驗信息，如果信息完整有效，會使用這個文件塊；否則會從另外兩個（如果備份了3份）備份中選取。

????（5）安全模式：
? ? 安全模式默認(rèn)是開啟的，并且當(dāng)系統(tǒng)啟動檢測全部DataNode節(jié)點上Block塊的有效性及完成后續(xù)操作之后會自動關(guān)閉。這段時間HDFS系統(tǒng)內(nèi)的內(nèi)容不能修改和刪除。在學(xué)習(xí)階段，可以從命令行使用

hadoop dfsadmin -safemode leave

命令關(guān)閉。

- end

轉(zhuǎn)載于:https://my.oschina.net/vigiles/blog/133559

總結(jié)

以上是生活随笔為你收集整理的Hadoop上路_11-HDFS流程演示的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。