hdoop(2)——hdfs一些常用的配置文件
生活随笔
收集整理的這篇文章主要介紹了
hdoop(2)——hdfs一些常用的配置文件
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
(1)core-site xml
此文件在etc/hadoop/下,此目錄下寫入了外部訪問hdfs的端口信息:
默認(rèn)端口號為9000
(2)hdfs-site xml
此文件位置同(1),用cat命令查看該文件:
<1>
此處內(nèi)容表示的是副本數(shù),在這里可以設(shè)置副本數(shù)為幾個
<2>
<3>
此處可以看到datanode數(shù)據(jù)存放在哪
此處可以設(shè)置我們的namenode的文件放置在哪
(3)mapred-site xml
文件位置同上
<1>
此處指定了mapreduce執(zhí)行的端口號為9001
<2>
此處指定了調(diào)度工具為yarn
(4)yarn-site xml
文件位置同上
<1>
我們在shuffle階段處理所用到的工具
<2>
yarn跑起來后的hostname的設(shè)定
<3>
配置虛擬內(nèi)存是否檢查
總結(jié)
以上是生活随笔為你收集整理的hdoop(2)——hdfs一些常用的配置文件的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Mysql(13)——left join
- 下一篇: hadoop(3)——yarn查看方式