Hadoop1.x之hdfs集群搭建
2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>
搭建Hadoop1.x，hdfs所總結(jié)的記錄，因?yàn)橹R和經(jīng)驗(yàn)不足，里面的錯誤和不清楚的地方請您多多包含，如果有疑問評論我一定會及時回復(fù)。
1. 準(zhǔn)備三臺以上的機(jī)Linux（node1,node2,node3...），這是我的主機(jī)版本
2. 相互ping通,最好配置hosts的ip和主機(jī)名映射
3. 時間一定要一致（date命令查看）
4. 所有主機(jī)之間可以ssh免密碼登陸
5.?所有的機(jī)器上要安裝合適的JDK，并配置好JAVA_HOME,CLASS_PATH,PATH這些變量，我配置在了/etc/profile中，也可以配置在 ~/.bash_profile，這兩個目錄文件都可以配置路徑和環(huán)境變量。
配置如下：確保所有機(jī)器有一樣合適的JDK
6. 關(guān)閉防火墻（所有主機(jī)）
7. 把hadoop（我安裝的是hadoop-2.5.1）解壓在某個目錄下，開始配置文件
8. 在/hadoop-2.5.1/etc/hadoop/hadoop-env.sh中? 配置JAVA_HOME，在這個文件中找到寫JAVA_HOME的位置，在把自己本機(jī)的JAVA_HOME寫上。
9. 在相同的目錄下打開 （vi?core-site.xml），這里配置兩個變量，一個用來指定文件系統(tǒng)訪問的方式和位置（namenode），一個用來指定hadoop工作空間位置。這個位置可以不用手動創(chuàng)建文件夾，格式化之后會自動創(chuàng)建。
10. 配置hdfs-site.xml，這個用來指定通過瀏覽器訪問secondaryNameNode時的端口，具體看下面的。
這個配置好之后，開啟hadoop可以通過瀏覽器IP加下面的端口訪問secondaryNameNode，一個是http協(xié)議的一個是https協(xié)議的。但請注意，如果要訪問NameNode時，端口號是50070（默認(rèn)配置的，也可手更換）.
11. 配置slaves（奴隸）文件，也在相同的目錄下，這個文件中指定dataNode的主機(jī)，一行寫一個主機(jī)，可以寫主機(jī)名，也可以寫IP,前提是要有hosts的映射文件。下面就是我的三臺主機(jī)。
12. 配置masters,這個文件需要自己創(chuàng)建，這個文件中指定secondaryNameNode的主機(jī)，在同目錄下創(chuàng)建。
13.?注意上面配置，不要寫錯，配置好之后，通過scp -r 命令把整個hadoop安裝目錄，發(fā)送到其它幾臺主機(jī)上，在其它主機(jī)上的位置要和這臺主機(jī)的位置一模一樣。
14. 為了以后方便直接在任何位置敲hadoop的命令，我們配置一下hadoop的環(huán)境變量，就像配置Java環(huán)境變量的目的一樣。這個變量可以配置在~/.bash_profile（“~”對應(yīng)的用戶可以使用）或者配置在/etc/profile（所有用戶都可以使用）中。
15. 然后在把配置環(huán)境變量的文件通過scp -r 命令拷貝到其它機(jī)器的相同位置上。
16. 開始在nameNode上格式化！命令：hdfs namenode -format?? 注意：等待格式化完成，沒有出現(xiàn)意外的話（格式化狀態(tài)代碼返回為：0），就會生成上面（9.步）配置的那個hadoop工作目錄這個目錄下的dfs/name/current中存放下面的這些東西，看到fsimage了嗎？（不要糾結(jié)我有多個，因?yàn)槲也皇堑谝淮芜\(yùn)行hdfs了。）
17. 啟動hdfs，命令：start-dfs.sh,正常啟動見下圖：看到了嗎，很清楚的寫明了namenode，datanode，secondarynamenode是哪幾臺機(jī)器。
18. 可以通過jps命令查看當(dāng)前主機(jī)啟動的java程序，如下：說明我啟動了JPS和NameNode的java程序。（這樣理解可能不準(zhǔn)確，自己上網(wǎng)查查）
19. 通過瀏覽器訪問，nameNode，訪問nameNode的主機(jī)+端口（50070）：我的即是192.168.1.111:50070,頁面如下:(說明就hdfs初步搭建告成！)
20 .訪問secondaryNameNode：主機(jī)+端口（50090或者50091（https））：我的是192.168.1.112：50090
搭建完成，多臺機(jī)器搭建其實(shí)很簡單的，其本質(zhì)就是一個簡單的文件系統(tǒng)，我們常用的文件系統(tǒng)有windowsNTFS,linux的樹狀文件系統(tǒng)等
可以使用：關(guān)閉hdfs的命令：stop-all.sh。
轉(zhuǎn)載于:https://my.oschina.net/u/3696405/blog/1542525
總結(jié)
以上是生活随笔為你收集整理的Hadoop1.x之hdfs集群搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Git推送问题
- 下一篇： Spring Data JPA单元测试