hdfs web_ui深入讲解、服务启动日志分析、NN SNN关系
hdfs啟動順序:
? ? ?1、namenode
? ? ? 2、datenode
? ? ?3、secondnamenode? ? ? ??
? ? ?4、yarn
webui:?
? ??????? 默認為50070端口,dfsheath
? ? ui內容講解:
? ??????? ClusterID: namenode格式化時生成的(hdfs namenode -format)
? ? ? ? ? BlockpoolID:數據塊池
? ? ? ? ? ?(為了federation 和內存管理使用。)
? ? ? ? ??
? ? ?namenode Journal status:
? ? ? ? ?就是edit日志
? ? ?namenode storage: ? ??
? ? ? ? ? 鏡像文件存儲信息
?????
? ? ? ? ???????
? ? ??????
? ? ? ? ??
? ? ?
啟動日志文件目錄 $HADOOP_HOME/logs:
? ? ? x.log: 通過log4j記錄,記錄大部分應用程序的日志信息
? ? ? x.out ?記錄標準輸出和標準錯誤日志,少量記錄
日志文件的命名規則:
? ? ?[ ?框架名稱- 用戶名- 進程名- 主機名--日志格式后綴 ]
Secondary namenode:
? ? ? ? 1、客戶端對hdfs的操作會記錄到edits文件中, 即journal 。
? ? ? ? 2、namenode 內存中的內容為 fsimage+edits
? ? ? ? 3、 namenode 的fsimage和edite文件定時合并后,同步到secondary namenode上。
? ? ?
總結
以上是生活随笔為你收集整理的hdfs web_ui深入讲解、服务启动日志分析、NN SNN关系的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 净利润和毛利润的区别 净利润与毛利润的区
- 下一篇: 分布式锁的实现