目錄

• 機(jī)架感知
• 網(wǎng)絡(luò)拓?fù)?-節(jié)點(diǎn)距離計(jì)算

機(jī)架感知

1.什么是機(jī)架感知？
Hadoop集群中副本存儲節(jié)點(diǎn)選擇；

2.什么時(shí)候會涉及機(jī)架感知？
當(dāng)Hadoop集群規(guī)模相當(dāng)大的情況下，就要考慮機(jī)架感知；

3.機(jī)架感知需考慮哪些因素？分別說明。
1). 第一個(gè)副本選擇本地機(jī)架，距離近，上傳速度快；
2). 第二個(gè)副本選擇遠(yuǎn)程機(jī)架的隨機(jī)節(jié)點(diǎn)，保證數(shù)據(jù)的可靠性；
3). 第三個(gè)副本選擇第二個(gè)副本所在機(jī)架的隨機(jī)節(jié)點(diǎn)，而不是其他機(jī)架，是同時(shí)兼顧可靠性+效率；

網(wǎng)絡(luò)拓?fù)洙C節(jié)點(diǎn)距離計(jì)算

問：在HDFS寫數(shù)據(jù)的過程中，NameNode會選擇距離待上傳數(shù)據(jù)最近距離的DataNode接收數(shù)據(jù)，最近距離如何計(jì)算？
答：兩個(gè)節(jié)點(diǎn)到達(dá)最近的共同祖先的距離總和。

eg:

如圖，5和9的共同祖先為6，所以5到9的距離為：3；

如圖，1和5的共同祖先為6，所以他們的距離為4.

總結(jié)

以上是生活随笔為你收集整理的hadoop--HDFS_机架感知与网络拓扑节点距离计算的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。