hadoop3.2.2--记录java.io.IOException: All specified directories have failed to load.问题
生活随笔
收集整理的這篇文章主要介紹了
hadoop3.2.2--记录java.io.IOException: All specified directories have failed to load.问题
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
問題: 在初始化NameNode時,hadoop102 沒有啟動DataNode,但是log里又有DataNode,查看log提示:java.io.IOException: All specified directories have failed to load.
原因: 一開始初始化NameNode之后發現有問題,開始排查配置文件,修改完配置后,沒有刪除NameNode及DataNode相關數據,直接初始化NameNode導致clusterID不匹配;
解決方案一:
1.在以下路徑找到NameNode的VERSION文件:
[xiaobai@hadoop102 current]$ pwd /opt/module/hadoop-3.2.2/data/dfs/name/current [xiaobai@hadoop102 current]$ vim VERSIONNameNode的VERSION文件長這個樣子:
#Fri Jun 11 23:59:05 CST 2021 namespaceID=643636441 clusterID=CID-b15b1f6e-7e10-46e4-b39f-be02812c6765 cTime=1623427145615 storageType=NAME_NODE blockpoolID=BP-1094756810-192.168.10.102-1623427145615 layoutVersion=-652.在以下路徑找到DataNode的VERSION文件:
[xiaobai@hadoop102 current]$ pwd /opt/module/hadoop-3.2.2/data/dfs/data/current [xiaobai@hadoop102 current]$ vim VERSIONDataNode的VERSION文件長這個樣子:
#Fri Jun 11 23:44:16 CST 2021 storageID=DS-76a2b31c-db46-4364-8acc-ea16f2bae593 clusterID=CID-062f154c-b852-49ff-9558-e8d0f9ac95b3 cTime=0 datanodeUuid=aaa74fa5-917f-49e7-9303-7bb1eef5ce55 storageType=DATA_NODE layoutVersion=-573.用NameNode/VERSION中的clusterID替換DataNode/VERSION中的clusterID:
#Fri Jun 11 23:44:16 CST 2021 storageID=DS-76a2b31c-db46-4364-8acc-ea16f2bae593 clusterID=CID-b15b1f6e-7e10-46e4-b39f-be02812c6765 cTime=0 datanodeUuid=aaa74fa5-917f-49e7-9303-7bb1eef5ce55 storageType=DATA_NODE layoutVersion=-574.重新啟動NameNode:
[xiaobai@hadoop102 hadoop-3.2.2]$ sbin/start-dfs.sh查看進程:
[xiaobai@hadoop102 hadoop-3.2.2]$ jps 23653 DataNode 23866 Jps 21805 NameNode [xiaobai@hadoop103 hadoop-3.2.2]$ jps 13912 DataNode 14617 Jps [xiaobai@hadoop104 opt]$ jps 13639 SecondaryNameNode 13544 DataNode 13677 Jps解決方案二:
先刪除NameNode/DataNode相關數據,再重新初始化NameNode;
重新格式化NameNode==>
總結
以上是生活随笔為你收集整理的hadoop3.2.2--记录java.io.IOException: All specified directories have failed to load.问题的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Oracle “TNS-12535: T
- 下一篇: Django配置数据库读写分离