Hadoop之DataNode工作機制

---

目錄

DataNode工作機制

數據完整性

掉線時限參數設置

---

1. DataNode工作機制

DataNode工作機制如下圖

一個數據塊在DataNode上以文件形式存儲在磁盤上，包括兩個文件，一個是數據本身，一個是元數據包括數據塊的長度，塊數據的校驗和，以及時間戳。

DataNode啟動后向NameNode注冊，通過后，周期性（1小時）的向NameNode上報所有的塊信息。

心跳是每3秒一次，心跳返回結果帶有NameNode給該DataNode的命令如復制塊數據到另一臺機器，或刪除某個數據塊。如果超過10分鐘沒有收到某個DataNode的心跳，則認為該節點不可用。

集群運行中可以安全加入和退出一些機器。

---

2. 數據完整性

當DataNode讀取block的時候，它會計算checksum。

如果計算后的checksum，與block創建時值不一樣，說明block已經損壞。

client讀取其他DataNode上的block。

datanode在其文件創建后周期驗證checksum，如下圖所示。

---

3. 掉線時限參數設置

DataNode進程死亡或者網絡故障造成DataNode無法與NameNode通信，NameNode不會立即把該節點判定為死亡，要經過一段時間，這段時間暫稱作超時時長。HDFS默認的超時時長為10分鐘+30秒。如果定義超時時間為timeout，則超時時長的計算公式為：

timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval

而默認的dfs.namenode.heartbeat.recheck-interval 大小為5分鐘，dfs.heartbeat.interval默認為3秒。

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的單位為毫秒，dfs.heartbeat.interval的單位為秒。

<property><name>dfs.namenode.heartbeat.recheck-interval</name><value>300000</value> </property> <property><name> dfs.heartbeat.interval </name><value>3</value> </property>

總結

以上是生活随笔為你收集整理的Hadoop之DataNode工作机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。