HBase 2.X版本的元数据修复及一种数据迁移方式
新集群清理及數據遷移
看完上面的元數據恢復,應該就知道接下來的這種HBase數據遷移方式的原理:通過拷貝數據目錄,讓HBase元數據與業務數據目錄重新建立關系,達到業務正常讀寫。
下面例子只考慮用戶使用default命名空間
拷貝舊集群的HBase數據目錄到新集群,將舊集群的/hbase/data/default目錄拷貝到了hdfs上的/mydata/目錄;
如果新集群數據不需要清理,則跳過此步驟
停止HBase
清除HBase在數據存儲目錄,hdfs dfs -rm -r /hbase
清除HBase在zk的節點,使用ZK客戶端工具zkCli.sh –server :2181 進入后執行deleteall /hbase
啟動HBase,讓目錄結構自動生成
hdfs dfs -cp /mydata/default/* /hbase/data/default/
執行hbase修復命令hbase org.apache.hadoop.hbase.util.hbck.OfflineMetaRepair –fix
設置hbase.assignment.skip.empty.regions=false并啟動HBase
運行完上述步驟,在新的集群就能對遷移過來的HBase進行業務訪問了。
參考鏈接:https://zhuanlan.zhihu.com/p/267268541?utm_source=ZHShareTargetIDMore
總結
以上是生活随笔為你收集整理的HBase 2.X版本的元数据修复及一种数据迁移方式的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux用户不能su: This ac
- 下一篇: Hbase hbck2下载编译和基本使用