HDFS前言：

1) 設計思想

分而治之：將大文件、大批量文件，分布式存放在大量服務器上，以便于采取分而治之的方式對海量數據進行運算分析；

2)在大數據系統中作用：

為各類分布式運算框架(如：mapreduce，spark，tez，……)提供數據存儲服務

3)重點概念：文件切塊，副本存放，元數據

4)、NameNode節點：由core-site.xml配置指定(name=fs.defaultFS,value=hdfs://slaver1:8020)。

DataNode/NodeManager節點：由slavers文件指定。

SecondaryNameNode節點：由hdfs-site.xml文件指定(name=dfs.namenode.secondary.http-address,value=slaver1:50090)

ResourceManager節點：在yarn-site.xml文件中指定(name=yarn.resourcemanager.hostname,value=slaver1)。

historyServer節點：在mapred-site.xml配置文件里面修改。

1：分布式文件系統(Distributed File System)：

(1)：數據量越來越多，在一個操作系統管轄的范圍存不下了，那么就分配到更多的操作系統管理的磁盤中，但是不方便管理和維護，因此迫切需要一種系統來管理多臺機器上的文件，這就是分布式文件管理系統 。

(2)：是一種允許文件通過網絡在多臺主機上分享的文件系統，可讓多機器上的多用戶分享文件和存儲空間。

(3)：通透性。讓實際上是通過網絡來訪問文件的動作，由程序與用戶看來，就像是訪問本地的磁盤一般。

(4)：容錯。即使系統中有某些節點脫機，整體來說系統仍然可以持續運作而不會有數據損失。

(5)：分布式文件管理系統很多，hdfs只是其中一種。適用于一次寫入多次查詢的情況，不支持并發寫情況，小文件不合適。

2：Hadoop最擅長的是(離線 )日志分析

(1)：HDFS----》海量數據的存儲，負責文件讀寫。

(2)：MapReduce----》海量數據的分析。

(3)：YARN----》資源管理調度，負責為mapreduce程序分配硬件資源。

3：HDFS的Shell

(1)：調用文件系統(FS)Shell命令應使用 bin/hadoop fs 的形式。

(2)：所有的FS shell命令使用URI路徑作為參數。

URI格式是scheme://authority/path。HDFS的scheme是hdfs，對本地文件系統，scheme是file。其中scheme和authority參數都是可選的，如果未加指定，就會使用配置中指定的默認scheme。

例如：/parent/child可以表示成hdfs://namenode:namenodePort/parent/child，或者更簡單的/parent/child(假設配置文件是namenode:namenodePort)

(3)：大多數FS Shell命令的行為和對應的Unix Shell命令類似。

4：HDFS fs命令

(1)-help [cmd]?? ?//顯示命令的幫助信息

(2)-ls(r) ?? ?//顯示當前目錄下所有文件

(3)-du(s) ?? ?//顯示目錄中所有文件大小

(4)-count[-q] ?? ?//顯示目錄中文件數量

(5)-mv ?? ?//移動多個文件到目標目錄

(6)-cp ?? ?//復制多個文件到目標目錄

(7)-rm(r)?? ??? ?//刪除文件(夾)

(8)-put ?? ?//本地文件復制到hdfs

(9)-copyFromLocal?? ?//同put

(10)-moveFromLocal?? ?//從本地文件移動到hdfs

(11)-get [-ignoreCrc] ?? ?//復制文件到本地，可以忽略crc校驗

(12)-getmerge ?? ??? ?//將源目錄中的所有文件排序合并到一個文件中

(13)-cat ?? ?//在終端顯示文件內容

(14)-text ?? ?//在終端顯示文件內容

(15)-copyToLocal [-ignoreCrc] ?? ?//復制到本地

(16)-moveToLocal

(17)-mkdir ?? ?//創建文件夾

(18)-touchz ?? ?//創建一個空文件

5：HDFS的Shell命令練習

(1)#hadoop fs -ls /? 查看HDFS根目錄

(2)#hadoop fs -mkdir /test 在根目錄創建一個目錄test

(3)#hadoop fs -mkdir /test1 在根目錄創建一個目錄test1

(4)#hadoop fs -put ./test.txt /test或#hadoop fs -copyFromLocal ./test.txt /test

(5)#hadoop fs -get /test/test.txt .或#hadoop fs -getToLocal /test/test.txt .

(6)#hadoop fs -cp /test/test.txt /test1

(7)#hadoop fs -rm /test1/test.txt

(8)#hadoop fs -mv /test/test.txt /test1

(9)#hadoop fs -rmr /test1

6：HDFS架構

(1)NameNode

(2)DataNode

(3)Secondary NameNode

7：NameNode

(1)是整個文件系統的管理節點。它維護著整個文件系統的文件目錄樹，文件/目錄的元信息和每個文件對應的數據塊列表。接收用戶的操作請求。

(2)文件包括：

fsimage:元數據鏡像文件。存儲某一時段NameNode內存元數據信息。

edits:操作日志文件。

fstime:保存最近一次checkpoint的時間

(3)以上這些文件是保存在linux的文件系統中。

(4)、NameNode是主節點，存儲文件的元數據，如文件名，文件目錄結構，文件屬性(生成事件，副本數，文件權限)，以及每個文件的塊列表和塊所在的DataNode信息等等。

(5)、Namenode是一個中心服務器，單一節點，負責管理文件系統的名字空間，以及客戶端對文件的訪問。文件操作，NameNode負責文件元數據的操作，DataNode負責處理文件內容的讀寫請求，跟文件內容相關的數據流不經過NameNode，只會詢問它跟那個DataNode聯系，否則NameNode會成為系統的瓶頸。副本存放在那些DataNode上由NameNode來控制，根據全局情況做出塊放置決定，讀取文件時候NameNode盡量讓用戶先讀取最近的副本，降低帶塊消耗和讀取延時。NameNode全權管理數據塊的復制。它周期性的從集群中每個DataNode接受心跳信號和塊狀態報告(Blocreport)。接受到心跳信號意味著該DataNode節點正常工作。塊狀態報告包含一個該DataNode上所有數據塊的列表。

8：NameNode的工作特點

(1)Namenode始終在內存中保存metedata，用于處理“讀請求”

(2)到有“寫請求”到來時，namenode會首先寫editlog到磁盤，即向edits文件中寫日志，成功返回后，才會修改內存，并且向客戶端返回

(3)Hadoop會維護一個fsimage文件，也就是namenode中metedata的鏡像，但是fsimage不會隨時與namenode內存中的metedata保持一致，而是每隔一段時間通過合并edits文件來更新內容。Secondary namenode就是用來合并fsimage和edits文件來更新NameNode的metedata的。

9：SecondaryNameNode

(1)HA的一個解決方案。但不支持熱備。配置即可。

(2)執行過程：從NameNode上下載元數據信息(fsimage,edits)，然后把二者合并，生成新的fsimage，在本地保存，并將其推送到NameNode，替換舊的fsimage.

(3)默認在安裝在NameNode節點上，但這樣...不安全！

(4)、用來監控hdfs狀態的輔助后臺程序，每隔一段事件獲取hdfs元數據的快照。

10：secondary namenode的工作流程

(1)secondary通知namenode切換edits文件

(2)secondary從namenode獲得fsimage和edits(通過http)

(3)secondary將fsimage載入內存，然后開始合并edits

(4)secondary將新的fsimage發回給namenode

(5)namenode用新的fsimage替換舊的fsimage

11：什么時候checkpiont

(1)fs.checkpoint.period 指定兩次checkpoint的最大時間間隔，默認3600秒。

(2)fs.checkpoint.size??? 規定edits文件的最大值，一旦超過這個值則強制checkpoint，不管是否到達最大時間間隔。默認大小是64M。

12：NameNode和SecondNameNode之間的聯系

13：Datanode

(1)提供真實文件數據的存儲服務。

(2)文件塊(block)：最基本的存儲單位。對于文件內容而言，一個文件的長度大小是size，那么從文件的０偏移開始，按照固定的大小，順序對文件進行劃分并編號，劃分好的每一個塊稱一個Block。HDFS默認Block大小是128MB，以一個256MB文件，共有256/128=2個Block.

dfs.block.size

(3)不同于普通文件系統的是，HDFS中，如果一個文件小于一個數據塊的大小，并不占用整個數據塊存儲空間

(4)Replication。多復本。默認是三個。hdfs-site.xml的dfs.replication屬性。

(5)、DataNode在本地文件系統存儲文件塊數據，以及塊數據的校驗和。

(6)、DataNode，一個數據塊在DataNode以文件存儲在磁盤上，包括兩個文件，一個是數據本身，一個是元數據包括數據塊的長度，塊數據的校驗和，以及時間戳。DataNode啟動后NameNode注冊，通過后，周期性(1小時)的向NameNode上報所有的塊信息。心跳是每3秒一次，心跳返回結果帶有NameNode給該DataNode的命令如復制塊數據到另一臺機器，或者刪除某個數據塊。如果超過10分鐘沒有收到某個DataNode的心跳，則認為該節點不可用。集群運行中可以安全加入和退出一些機器。

14：Remote Procedure Call

(1)RPC——遠程過程調用協議，它是一種通過網絡從遠程計算機程序上請求服務，而不需要了解底層網絡技術的協議。RPC協議假定某些傳輸協議的存在，如TCP或UDP，為通信程序之間攜帶信息數據。在OSI網絡通信模型中，RPC跨越了傳輸層和應用層。RPC使得開發包括網絡分布式多程序在內的應用程序更加容易。

(2)RPC采用客戶機/服務器模式。請求程序就是一個客戶機，而服務提供程序就是一個服務器。首先，客戶機調用進程發送一個有進程參數的調用信息到服務進程，然后等待應答信息。在服務器端，進程保持睡眠狀態直到調用信息的到達為止。當一個調用信息到達，服務器獲得進程參數，計算結果，發送答復信息，然后等待下一個調用信息，最后，客戶端調用進程接收答復信息，獲得進程結果，然后調用執行繼續進行。

(3)hadoop的整個體系結構就是構建在RPC之上的(見org.apache.hadoop.ipc)。

15：HDFS讀過程

(1)初始化FileSystem，然后客戶端(client)用FileSystem的open()函數打開文件

(2)FileSystem用RPC調用元數據節點，得到文件的數據塊信息，對于每一個數據塊，元數據節點返回保存數據塊的數據節點的地址。

(3)FileSystem返回FSDataInputStream給客戶端，用來讀取數據，客戶端調用stream的read()函數開始讀取數據。

(4)DFSInputStream連接保存此文件第一個數據塊的最近的數據節點，data從數據節點讀到客戶端(client)

(5)當此數據塊讀取完畢時，DFSInputStream關閉和此數據節點的連接，然后連接此文件下一個數據塊的最近的數據節點。

(6)當客戶端讀取完畢數據的時候，調用FSDataInputStream的close函數。

(7)在讀取數據的過程中，如果客戶端在與數據節點通信出現錯誤，則嘗試連接包含此數據塊的下一個數據節點。

(8)失敗的數據節點將被記錄，以后不再連接。

16：HDFS寫過程

(1)初始化FileSystem，客戶端調用create()來創建文件

(2)FileSystem用RPC調用元數據節點，在文件系統的命名空間中創建一個新的文件，元數據節點首先確定文件原來不存在，并且客戶端有創建文件的權限，然后創建新文件。

(3)FileSystem返回DFSOutputStream，客戶端用于寫數據，客戶端開始寫入數據。

(4)DFSOutputStream將數據分成塊，寫入data queue。data queue由Data Streamer讀取，并通知元數據節點分配數據節點，用來存儲數據塊(每塊默認復制3塊)。分配的數據節點放在一個pipeline里。Data Streamer將數據塊寫入pipeline中的第一個數據節點。第一個數據節點將數據塊發送給第二個數據節點。第二個數據節點將數據發送給第三個數據節點。

(5)DFSOutputStream為發出去的數據塊保存了ack queue，等待pipeline中的數據節點告知數據已經寫入成功。

(6)當客戶端結束寫入數據，則調用stream的close函數。此操作將所有的數據塊寫入pipeline中的數據節點，并等待ack queue返回成功。最后通知元數據節點寫入完畢。

(7)如果數據節點在寫入的過程中失敗，關閉pipeline，將ack queue中的數據塊放入data queue的開始，當前的數據塊在已經寫入的數據節點中被元數據節點賦予新的標示，則錯誤節點重啟后能夠察覺其數據塊是過時的，會被刪除。失敗的數據節點從pipeline中移除，另外的數據塊則寫入pipeline中的另外兩個數據節點。元數據節點則被通知此數據塊是復制塊數不足，將來會再創建第三份備份。

17：HDFS的架構

(1)主從結構

主節點， namenode

從節點，有很多個: datanode

(2)namenode負責：

接收用戶操作請求

維護文件系統的目錄結構

管理文件與block之間關系，block與datanode之間關系

(3)datanode負責：

存儲文件

文件被分成block存儲在磁盤上

為保證數據安全，文件會有多個副本

18：Hadoop部署方式

(1)本地模式

(2)偽分布模式

(3)集群模式

19：Hadoop的特點

(1)擴容能力(Scalable)：能可靠地(reliably)存儲和處理千兆字節(PB)數據。

(2)成本低(Economical)：可以通過普通機器組成的服務器群來分發以及處理數據。這些服務器群總計可達數千個節點。

(3)高效率(Efficient)：通過分發數據，hadoop可以在數據所在的節點上并行地(parallel)處理它們，這使得處理非常的快速。

(4)可靠性(Reliable)：hadoop能自動地維護數據的多份副本，并且在任務失敗后能自動地重新部署(redeploy)計算任務。

20：HDFS的概念和特性：

1)首先，它是一個文件系統，用于存儲文件，通過統一的命名空間——目錄樹來定位文件

2)其次，它是分布式的，由很多服務器聯合起來實現其功能，集群中的服務器有各自的角色；

3)重要特性如下：

(1)HDFS中的文件在物理上是分塊存儲(block)，塊的大小可以通過配置參數( dfs.blocksize)來規定，默認大小在hadoop2.x版本中是128M，老版本中是64M

(2)HDFS文件系統會給客戶端提供一個統一的抽象目錄樹，客戶端通過路徑來訪問文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data

(3)目錄結構及文件分塊信息(元數據)的管理由namenode節點承擔

namenode是HDFS集群主節點，負責維護整個hdfs文件系統的目錄樹，以及每一個路徑(文件)所對應的block塊信息(block的id，及所在的datanode服務器)

(4)文件的各個block的存儲管理由datanode節點承擔

datanode是HDFS集群從節點，每一個block都可以在多個datanode上存儲多個副本(副本數量也可以通過參數設置dfs.replication)

(5)HDFS是設計成適應一次寫入，多次讀出的場景，且不支持文件的修改

注意：適合用來做數據分析，并不適合用來做網盤應用，因為，不便修改，延遲大，網絡開銷大，成本太高；

22：hadoop常用命令參數介紹：

-help

功能：輸出這個命令參數手冊

-ls

功能：顯示目錄信息

示例： hadoop fs -ls hdfs://hadoop-server01:9000/

備注：這些參數中，所有的hdfs路徑都可以簡寫

-->hadoop fs -ls /?? 等同于上一條命令的效果

-mkdir

功能：在hdfs上創建目錄

示例：hadoop fs? -mkdir? -p? /aaa/bbb/cc/dd

-moveFromLocal

功能：從本地剪切粘貼到hdfs

示例：hadoop? fs? - moveFromLocal? /home/hadoop/a.txt? /aaa/bbb/cc/dd

-moveToLocal

功能：從hdfs剪切粘貼到本地

示例：hadoop? fs? - moveToLocal?? /aaa/bbb/cc/dd? /home/hadoop/a.txt

--appendToFile

功能：追加一個文件到已經存在的文件末尾

示例：hadoop? fs? -appendToFile? ./hello.txt? hdfs://hadoop-server01:9000/hello.txt

可以簡寫為：

Hadoop? fs? -appendToFile? ./hello.txt? /hello.txt

-cat

功能：顯示文件內容

示例：hadoop fs -cat? /hello.txt

-tail

功能：顯示一個文件的末尾

示例：hadoop? fs? -tail? /weblog/access_log.1

-text

功能：以字符形式打印一個文件的內容

示例：hadoop? fs? -text? /weblog/access_log.1

-chgrp

-chmod

-chown

功能：linux文件系統中的用法一樣，對文件所屬權限

示例：

hadoop? fs? -chmod? 666? /hello.txt

hadoop? fs? -chown? someuser:somegrp?? /hello.txt

-copyFromLocal

功能：從本地文件系統中拷貝文件到hdfs路徑去

示例：hadoop? fs? -copyFromLocal? ./jdk.tar.gz? /aaa/

-copyToLocal

功能：從hdfs拷貝到本地

示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz

-cp

功能：從hdfs的一個路徑拷貝hdfs的另一個路徑

示例： hadoop? fs? -cp? /aaa/jdk.tar.gz? /bbb/jdk.tar.gz.2

-mv

功能：在hdfs目錄中移動文件

示例： hadoop? fs? -mv? /aaa/jdk.tar.gz? /

-get

功能：等同于copyToLocal，就是從hdfs下載文件到本地

示例：hadoop fs -get? /aaa/jdk.tar.gz

-getmerge

功能：合并下載多個文件

示例：比如hdfs的目錄 /aaa/下有多個文件:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.* ./log.sum

-put

功能：等同于copyFromLocal

示例：hadoop? fs? -put? /aaa/jdk.tar.gz? /bbb/jdk.tar.gz.2

-rm

功能：刪除文件或文件夾

示例：hadoop fs -rm -r /aaa/bbb/

-rmdir

功能：刪除空目錄

示例：hadoop? fs? -rmdir?? /aaa/bbb/ccc

-df

功能：統計文件系統的可用空間信息

示例：hadoop? fs? -df? -h? /

-du

功能：統計文件夾的大小信息

示例：

hadoop? fs? -du? -s? -h /aaa/*

-count

功能：統計一個指定目錄下的文件節點數量

示例：hadoop fs -count /aaa/

-setrep

功能：設置hdfs中文件的副本數量

示例：hadoop fs -setrep 3 /aaa/jdk.tar.gz

23：Hdfs的工作機制：

(工作機制的學習主要是為加深對分布式系統的理解，以及增強遇到各種問題時的分析解決能力，形成一定的集群運維能力)

注意：很多不是真正理解hadoop技術體系的人會常常覺得HDFS可用于網盤類應用，但實際并非如此。要想將技術準確用在恰當的地方，必須對技術有深刻的理解

概述

1：HDFS集群分為兩大角色：NameNode、DataNode

2：NameNode負責管理整個文件系統的元數據

3：DataNode 負責管理用戶的文件數據塊

4：文件會按照固定的大小(blocksize)切成若干塊后分布式存儲在若干臺datanode上

5：每一個文件塊可以有多個副本，并存放在不同的datanode上

6：Datanode會定期向Namenode匯報自身所保存的文件block信息，而namenode則會負責保持文件的副本數量

7：HDFS的內部工作機制對客戶端保持透明，客戶端請求訪問HDFS都是通過向namenode申請來進行

24：資源調度管理YARN的節點介紹：

1、ResourceManager節點：

處理客戶端請求，啟動和監控ApplicationMaster,監控NodeManager,資源分配和調度。

2、NodeManager:

單個節點上的資源管理，處理來自ResourceManager的命令，處理來自ApplicationMaster的命令。

3、ApplicationMaster:

數據切分，為應用程序申請資源，分分配給內部任務，任務監控與容錯。

4、Container:

對任務運行環境的抽象，封裝了cpu,內存，等多為資源以及環境變量，啟動命令等任務運行相關的信息。

25、離線計算框架，MapReduce:

1、將計算過程分為兩個階段，Map階段和Reduce階段：

map階段并行處理輸入數據。

reduce階段對map結果進行匯總。

2、Shuffle連接Map和Reduce兩個階段：

Map Task將數據寫到本地磁盤。

Reduce Task從每個Map Task上讀取一份數據。

3、僅僅適合離線批處理:

具有很好的容錯性和擴展性。

適合簡單的批處理任務。

4、缺點明顯：啟動開銷大，過多使用磁盤導致效率低下等等

26、數據損壞(corruption)處理：

1、當DataNode讀取block的時候，它會計算checksum。

2、如果計算后的checksum，與block創建時值不一樣，說明該block已經損壞。

3、Client讀取其他DN上的block。

4、NameNode標記該塊已經損壞，然后復制block達到預期設計的文件備份數。

5、DataNode在其他文件創建后三周驗證其checksum

待續......

總結

以上是生活随笔為你收集整理的namenode和datanode工作机制_Hadoop的namenode的管理机制，工作机制和datanode的工作原理...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。