• 安裝vmware12，centos6.5（還是6.5好，穩(wěn)定流暢，7界面好看但是虛擬機(jī)里面卡死了），刪除自帶openjdk下載安裝jdk1.7
• 配置環(huán)境變量 vim /etc/profile->最后加上下面這段

export JAVA_HOME=/usr/java/jdk1.7.0_79
exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

執(zhí)行source/etc/profile使之生效

• 安裝hadoop，下載下載 hadoop-2.x.y.tar.gz這樣類型的，64位電腦記得下載64位的
• 執(zhí)行tar -zxf ~/下載/hadoop-2.6.0.tar.gz -C /usr/local 釋放hadoop到本地，修改一下名字mv hadoop-2.6.0 hadoop
• 配置環(huán)境變量，/etc/profile下面加上這兩行

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

• 修改/usr/local/hadoop/etc/hadoop/下的 core-site.xml和hdfs-site.xml

core-site.xml：

<configuration>

??? <property>

???????<name>hadoop.tmp.dir</name>

???????<value>file:/usr/local/hadoop/tmp</value>

???????<description>Abase for other temporary directories.</description>

??? </property>

??? <property>

???????<name>fs.defaultFS</name>

???????<value>hdfs://localhost:9000</value>

??? </property>

</configuration>

hdfs-site.xml：

<configuration>

??? <property>

???????<name>dfs.replication</name>

???????<value>1</value>

??? </property>

??? <property>

???????<name>dfs.namenode.name.dir</name>

???????<value>file:/usr/local/hadoop/tmp/dfs/name</value>

??? </property>

??? <property>

???????<name>dfs.datanode.data.dir</name>

???????<value>file:/usr/local/hadoop/tmp/dfs/data</value>

??? </property>

</configuration>

• 執(zhí)行./bin/hdfs namenode -format??進(jìn)行 NameNode的格式化

成功的話，會(huì)看到“successfully formatted”和“Exitting with status 0”的提示，若為“Exitting with status 1”則是出錯(cuò)。

• 接著開啟 NaneNode 和 DataNode 守護(hù)進(jìn)程：執(zhí)行sbin/start-dfs.sh? 開啟守護(hù)進(jìn)程
• 2.x版本之后上傳命令不一樣了：hadoop fs -mkdir input改為hdfs dfs -mkdir -p
• input目錄創(chuàng)建完成之后，開始上傳本地目錄：

上傳失敗顯示：mkdir: Cannot create directory /input. Name node is insafe mode.

通過(guò)執(zhí)行bin/hadoop dfsadmin -safemode leave 來(lái)關(guān)閉safe mode

• 上傳文件報(bào)錯(cuò)：WARN hdfs.DFSClient: DataStreamer Exception，原因是防火墻未關(guān)閉，執(zhí)行service iptables stop關(guān)閉防火墻
• 若要停止hadoop進(jìn)程，./sbin/stop_all.sh(注意：要先啟動(dòng)namenode然后再啟動(dòng)其他，否則也會(huì)報(bào)上面的錯(cuò))
• hadoop fs?-mkdir /input創(chuàng)建input文件夾
• hadoop fs -put 文件 /input（如：hadoop fs -put 1 /input是將當(dāng)前目錄的文件1上傳至hdfs中的/input目錄下）
• hadoop jar hadoop-mapreduce-examples-2.5.1.jar wordcount /input/1 /input/output/1? 運(yùn)行wordcount程序
• hadoop fs -cat /input/output/1查看生成的文件?

總結(jié)

以上是生活随笔為你收集整理的centos6.5配置Hadoop环境，运行wordcount例子的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。