Hadoop的NameNode与SecondaryNameNode,DataNode
NameNode:
主要任務是接收客戶端的讀寫服務,
主要功能:
1,文件ownship和permission
2,文件包含哪些塊
3,Block保存在哪個DataNode中(由DataNode每次啟動時上報)
元數據MetaData在啟動后會加載到內存中,其中1,2也會保存在磁盤的fsimage中,但是3不會保存在fsimage中
Edits:
記錄對MetaData的操作日志,但是對MetaData的修改不會馬上修改fsimage,而是將操作記錄在edits中,每隔一定時間將edits和fsimage合并,并根據記錄再edits中的操作對fsimage進行修改。
SecondaryNameNode:
SecondaryNameNode并不是NameNode的備份,但是可以完成一部分元數據的備份工作(因為會拷貝fsimage到SNN中)
SecondaryNameNode的主要工作是合并edits和fsimage文件,生成新的fsimage并傳送給NameNode,替換NameNode中的舊的fsimage
DataNode:
1,存儲數據block
2,每次啟動時向NameNode匯報block信息,
3,主動發送心跳信息給NameNode(每3秒一次)
Block副本放置策略:
block1放在隨便一個不太忙的節點,block2放在不同于Block1的機架的節點上,block3和block2放在同一個機架上的節點(保證速度)
總結
以上是生活随笔為你收集整理的Hadoop的NameNode与SecondaryNameNode,DataNode的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 内推 | 阿里巴巴2020秋季校园招聘正
- 下一篇: ubuntu16.04设置ssh免密码登