Hadoop0.20.2版本在Ubuntu下安装和配置
1、安裝JDK
(1)下載安裝JDK:確保計算機聯(lián)網(wǎng)之后命令行輸入下面命令安裝JDK
sudo apt-get install sun-java6-jdk
(2)配置計算機Java環(huán)境:打開/etc/profile,在文件最后輸入下面內(nèi)容
export JAVA_HOME = (Java安裝目錄)
export CLASSPATH = ".:$JAVA_HOME/lib:$CLASSPATH"
export PATH = "$JAVA_HOME/:PATH"
(3)驗證Java是否安裝成功
輸入 java -version ,輸出Java版本信息即為安裝成功。
2、安裝配置SSH
(1)下載安裝SSH:同樣在命令行輸入下面命令安裝SSH
sudo apt-get install ssh
(2)配置無密碼登錄本機:在命令行輸入下面兩條命令
ssh-keygen -t dsa -P " -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
(3)驗證SSH是否安裝成功
輸入 ssh localhost 。如果顯示本機登錄成功就表明安裝成功。
3、安裝運行Hadoop(以0.20.2版本為例)
(1)下載Hadoop:在http://www.apache.org/dyn/closer.cgi/hadoop/core/頁面上下載Hadoop。
(2)安裝配置Hadoop
單節(jié)點配置:
安裝單節(jié)點的Hadoop無需配置,在這種方式下,Hadoop被認(rèn)作為一個單獨的Java進(jìn)程。
偽分布配置:
偽分布的Hadoop是只有一個節(jié)點的集群。在這個集群中,計算機既是master也是slave,即使 namenode也是datanode,既是jobtracker也是tasktracker。
配置的過程如下:
a、進(jìn)入conf文件夾修改下面的文件。
Hadoop-env.sh中加入下面內(nèi)容:
export JAVA_HOME = (JAVA安裝目錄)
core-site.xml文件內(nèi)容修改為下面內(nèi)容:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml文件內(nèi)容修改為下面內(nèi)容:
<configuration>
<property>
<name>fs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml文件內(nèi)容修改為下面內(nèi)容:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
b、格式化Hadoop文件系統(tǒng),在命令行輸入命令:
bin/hadoop namenode -format
c、啟動Hadoop,在命令行輸入命令:
bin/start-all.sh
d、驗證Hadoop是否安裝成功,在瀏覽器中輸入下面網(wǎng)址,如果正常打開說明安裝成功。
http://localhost:50030?(mapreduce的web頁面)
http://localhost:50070?(hdfs的web頁面)
總結(jié)
以上是生活随笔為你收集整理的Hadoop0.20.2版本在Ubuntu下安装和配置的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: datatables.js 简单使用--
- 下一篇: ubuntu10.04+hadoop0.