Hadoop之HDFS讀寫數據流程

---

目錄

HDFS寫數據流程

HDFS讀數據流程

網絡拓撲概念

機架感知

---

1. HDFS寫數據流程

HDFS寫數據流程，如下圖

客戶端通過Distributed FileSystem模塊向NameNode請求上傳文件，NameNode檢查目標文件是否已存在，父目錄是否存在。

NameNode返回是否可以上傳。

客戶端請求第一個 block上傳到哪幾個datanode服務器上。

NameNode返回3個datanode節點，分別為dn1、dn2、dn3。

客戶端通過FSDataOutputStream模塊請求dn1上傳數據，dn1收到請求會繼續調用dn2，然后dn2調用dn3，將這個通信管道建立完成。

dn1、dn2、dn3逐級應答客戶端。

客戶端開始往dn1上傳第一個block（先從磁盤讀取數據放到一個本地內存緩存），以packet為單位，dn1收到一個packet就會傳給dn2，dn2傳給dn3；dn1每傳一個packet會放入一個應答隊列等待應答。

當一個block傳輸完成之后，客戶端再次請求NameNode上傳第二個block的服務器。（重復執行3-7步）。

---

2. HDFS讀數據流程

HDFS的讀數據流程，如下圖

客戶端通過Distributed FileSystem向NameNode請求下載文件，NameNode通過查詢元數據，找到文件塊所在的DataNode地址。

挑選一臺DataNode（就近原則，然后隨機）服務器，請求讀取數據。

DataNode開始傳輸數據給客戶端（從磁盤里面讀取數據輸入流，以packet為單位來做校驗）。

客戶端以packet為單位接收，先在本地緩存，然后寫入目標文件。

---

3. 網絡拓撲概念

在海量數據處理中，其主要限制因素是節點之間數據的傳輸速率——帶寬很稀缺。這里的想法是將兩個節點間的帶寬作為距離的衡量標準。
節點距離：兩個節點到達最近的共同祖先的距離總和。

---

4. 機架感知

低版本Hadoop副本節點選擇，如圖下所示
第一個副本在Client所處的節點上。如果客戶端在集群外，隨機選一個。
第二個副本和第一個副本位于不相同機架的隨機節點上。
第三個副本和第二個副本位于相同機架，節點隨機。

高版本Hadoop副本節點選擇，如圖下所示
第一個副本在Client所處的節點上。如果客戶端在集群外，隨機選一個。
第二個副本和第一個副本位于相同機架，隨機節點。
第三個副本位于不同機架，隨機節點。

總結

以上是生活随笔為你收集整理的Hadoop之HDFS读写数据流程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。