Hadoop-HBASE 熱添加新節(jié)點(diǎn)

環(huán)境：
192.168.137.101 hd1
192.168.137.102 hd2
192.168.137.103 hd3
192.168.137.104 hd4
四節(jié)點(diǎn)hadoop和hbase

1、設(shè)置hostname
vi /etc/sysconfig/network
hostname hd5
設(shè)置完畢后需要退出重新登錄下方可生效
查看防火墻狀態(tài):service iptables status
停用防火墻:service iptables stop

2、hd5中修改/etc/hosts
加入?? ??? ?192.168.137.105 hd5

3、分發(fā)其到所有hd1, hd2, hd3, hd4
scp /etc/hosts hd1:/etc
scp /etc/hosts hd2:/etc
scp /etc/hosts hd3:/etc
scp /etc/hosts hd4:/etc

4、在hd5節(jié)點(diǎn)刪除原來(lái)的.ssh中的共鑰私鑰文件，重新生成
cd ~/.ssh
rm id_rsa
rm id_rsa.pub
ssh-keygen -t rsa

5、將原先hd1節(jié)點(diǎn)中的authorized_keys文件拷貝到hd5，再加入新共鑰
cat ~/.ssh/id_rsa.pub >> authorized_keys

6、分發(fā)改文件到其它各節(jié)點(diǎn)
scp ~/.ssh/authorized_keys hd1:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd2:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd3:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd4:/home/hadoop/.ssh

7、前往各個(gè)節(jié)點(diǎn)進(jìn)行第一次到hd5的ssh登錄（hd5本地的也做一次回環(huán)ssh登錄比較好）
在hd1, ssh hd5 date
在hd2, ssh hd5 date
在hd3, ssh hd5 date
在hd4, ssh hd5 date
在hd5, ssh hd5 date

8、將某節(jié)點(diǎn)上的hadoop和hbase安裝文件拷貝到新節(jié)點(diǎn)上，然后修改配置文件
在hd5修改hadoop的slave文件
vim /home/hadoop/hadoop/etc/hadoop/slaves
加入hd5
分發(fā)其到其它節(jié)點(diǎn)
scp /home/hadoop/hadoop/etc/hadoop/slaves hd1:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd2:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd3:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd4:/home/hadoop/etc/hadoop

9、在hd5啟動(dòng)datanode
./hadoop-daemon.sh start datanode

10、在hd5啟動(dòng)start-balancer.sh均衡當(dāng)前hdfs塊
start-balancer.sh

11、如果還有hbase在上面運(yùn)行則需要部署hbase的hserver
修改
vim /home/hadoop/hbase/conf/regionservers
加入hd5 并復(fù)制regionservers文件到hd1,hd2,hd3,hd4
scp regionservers hd1:/home/hadoop/hbase/conf
scp regionservers hd2:/home/hadoop/hbase/conf
scp regionservers hd3:/home/hadoop/hbase/conf
scp regionservers hd4:/home/hadoop/hbase/conf

13、在hd5啟動(dòng)hbase regionserver
hbase-daemon.sh start regionserver

14、在hd1和hd5啟動(dòng)hbase shell
用status命令確認(rèn)一下集群情況

轉(zhuǎn)載于:https://blog.51cto.com/zlfwmm/1682043

總結(jié)

以上是生活随笔為你收集整理的Hadoop-HBASE 热添加新节点的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。