一、 Hadoop節(jié)點熱拔插

在Hadoop集群中經(jīng)常會進(jìn)行增添節(jié)點操作，即實現(xiàn)節(jié)點的熱拔插。在這些操作中不希望對集群進(jìn)行重啟。

2.在集群中添加節(jié)點：

a. 把新節(jié)點IP或者主機名字加入到主節(jié)點的slaves文件。

b. 登錄到新節(jié)點，執(zhí)行：

cd $HADOOP_HOME && bin/hadoop-daemon.sh start datanode && bin/hadoop-daemon.sh start tasktracker

3. 從集群中移走節(jié)點，且對移走節(jié)點的數(shù)據(jù)進(jìn)行備份：

a. 在主節(jié)點的hdfs-site.xml配置文件中添加

<property> <name>dfs.hosts.exclude</name> <value>excludes</value> </property>

b. 在主節(jié)點的$HADOOP_HOME目錄下新建文件excludes，每行為需要移走的節(jié)點，該例為s140。

c. 運行命令：hadoop dfsadmin -refreshNodes，該命令可以動態(tài)刷新dfs.hosts和dfs.hosts.exclude配置，無需重啟NameNode。此刻datanode消失了，但是tasktracker還存在。

d. 然后通過 bin/hadoop dfsadmin -report查看，結(jié)果如下：

Name: 192.168.3.140:50010 Decommission Status : Decommission in progress Configured Capacity: 310716715008 (289.38 GB) DFS Used: 59891990052 (55.78 GB) Non DFS Used: 20663939548 (19.24 GB) DFS Remaining: 230160785408(214.35 GB) DFS Used%: 19.28% DFS Remaining%: 74.07% Last contact: Fri Aug 13 10:17:20 GMT+08:00 2010 Name: 192.168.3.136:50010 Decommission Status : Normal Configured Capacity: 487925370880 (454.42 GB) DFS Used: 101679245034 (94.7 GB) Non DFS Used: 55873218838 (52.04 GB) DFS Remaining: 330372907008(307.68 GB) DFS Used%: 20.84% DFS Remaining%: 67.71% Last contact: Fri Aug 13 10:17:21 GMT+08:00 2010

e. 在停掉節(jié)點Decommission Status不為Normal前, mapreduce操作會出現(xiàn)異常。

f. 節(jié)點移走64G數(shù)據(jù)需要十分鐘左右。

二、 數(shù)據(jù)負(fù)載均衡

1. 在Hadoop集群中新添加一個Datanode時，需要對集群數(shù)據(jù)進(jìn)行負(fù)載均衡。

2. 在主節(jié)點運行bin/start-balancer.sh命令，可以添加參數(shù)-threshold 5，threshold是平衡閾值，默認(rèn)是10%，值越小負(fù)載越均衡，但需要更長的時間去執(zhí)行。

3. 添加s140到集群，執(zhí)行負(fù)載均衡半個小時共負(fù)載了4G的數(shù)據(jù)。

?

轉(zhuǎn)自：http://blog.csdn.net/dajuezhao/article/details/5872923

轉(zhuǎn)載于:https://www.cnblogs.com/viviancc/archive/2012/03/05/2380743.html

總結(jié)

以上是生活随笔為你收集整理的Hadoop节点热拔插的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。