安裝參考:Hadoop2.7.4 在 Windows 10(64位) 詳細配置

安裝參考:Windows7-8-10安裝部署hadoop-2.7.5
1 配置jdk1.8?不要安裝在空格的目錄中，你會發(fā)現(xiàn)hadoop和spark不支持有空格的目錄配置

2下載hadoop-2.7.6

3下載https://download.csdn.net/download/hellozhxy/10602950后面用到。也可以自己下載Hadoop 2.7.6 Windows 64位 自己編譯bin。

4 安裝hadoop，解壓D:\Soft\hadoop-2.7.6

?5 配置hadoop環(huán)境變量 ??

?HADOOP_HOME:D:\Soft\hadoop-2.7.6

?

path :%HADOOP_HOME%\bin; ?追加在Path的最后

?

6修改D:\Soft\hadoop-2.7.6目錄權(quán)限

?7 檢查hadoop環(huán)境 hadoop version

?

8 配置hadoop的配置文件 (namenode,datanode運行讀取)

? ?配置文件目錄:D:\Soft\hadoop-2.7.6\etc\hadoop

1)?core-site.xml

?

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/D:/Soft/hadoop-2.7.6/workplace/tmp</value>

<description>namenode上本地的hadoop臨時文件夾</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

<description>HDFS的URI，文件系統(tǒng)://namenode標識:端口號</description>

</property>

</configuration>

?

2)hdfs-site.xml

<configuration>

<!-- 這個參數(shù)設(shè)置為1，因為是單機版hadoop -->

<property>

<name>dfs.replication</name>

<value>1</value>

<description>副本個數(shù)，配置默認是3,應(yīng)小于datanode機器數(shù)量</description>

</property>

<property>

<name>dfs.data.dir</name>

<value>/D:/Soft/hadoop-2.7.6/workplace/data</value>

<description>datanode上數(shù)據(jù)塊的物理存儲位置</description>

</property>

<property>

<name>dfs.name.dir</name>

<value>/D:/Soft/hadoop-2.7.6/workplace/name</value>

<description>namenode上存儲hdfs名字空間元數(shù)據(jù)?</description>

</property>

</configuration>

3)mapred-site.xml ?

沒有就將mapred-site.xml.template重命名為mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>hdfs://localhost:9001</value>

</property>

</configuration>

4)yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

?

9 配置hadoop-env.cmd ? ?

D:\Soft\hadoop-2.7.6\etc\hadoop\hadoop-env.cmd

設(shè)置jdk的路徑，不然會報錯jdk路徑找不到

@rem set JAVA_HOME=%JAVA_HOME%

@rem 防止java環(huán)境變量名稱不統(tǒng)一直接寫路徑

set?JAVA_HOME=D:\Soft\java\jdk1.8.0_151

?

10 替換bin目錄文件

D:\Soft\hadoop-2.7.6\bin

將?hadoop2.7.6-windows-64-bit-binaries 中bin目錄文件直接替換

?

11 ?運行cmd窗口，執(zhí)行“hdfs namenode -format”

?

12 啟動hadoop ，切換到hadoop的sbin目錄，執(zhí)行“start-all.cmd” 啟動4個進程

?hadoop環(huán)境搭建完畢

?

13 web控制臺資源管理GUI ? http://localhost:8088/

?

14 web控制臺節(jié)點管理GUI ? http://localhost:50070/

總結(jié)

以上是生活随笔為你收集整理的Hadoop2.7.6在Windows7单机部署的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。