配置環(huán)境及有關(guān)工具：ubuntu10.04? 、hadoop0.20.2 、 jdk1.6.0_29

我們的機(jī)器有三臺(tái)，一臺(tái)當(dāng)作namenode、兩臺(tái)當(dāng)作datanode：

namenode：IP:192.168.0.25、機(jī)器名：kiddenzj （這里的機(jī)器名要注意：機(jī)器名不能包含下劃線“_”，一開(kāi)始沒(méi)注意后來(lái)找了半天才發(fā)現(xiàn)這個(gè)原因）

datanode：IP：192.168.0.8 、機(jī)器名：kiddenxcc??

???????????????????? IP192.168.0.66、機(jī)器名： kiddenhw

集群里所有登陸的用戶名和密碼都要保持相同，我在這里創(chuàng)建了名為grid的用戶，后面的步驟就是在這個(gè)用戶下進(jìn)行的。

配置步驟：

1）安裝ssh

輸入命令：

[java]?view plaincopy

apt-get?install?ssh??

2）SSH配置

SSH配置主要是為了實(shí)現(xiàn)在機(jī)器間執(zhí)行指令時(shí)不再需要輸入密碼，在所有的機(jī)器上建立.ssh目錄，這里我們建立在/home/grid下面：

[html]?view plaincopy

mkdir?.ssh??

然后在namenode機(jī)器上生成密鑰對(duì)，執(zhí)行：

[html]?view plaincopy

ssh-keygen?-t?rsa??

然后一直按Enter鍵，就會(huì)按照默認(rèn)選項(xiàng)生成密鑰對(duì)保存在.ssh/id_rsa文件中。

繼續(xù)執(zhí)行如下命令，把密鑰傳遞給每個(gè)datanode節(jié)點(diǎn)：

[java]?view plaincopy

cd?~/.ssh??

cp?id_rsa.pub?authorized_keys??

scp?authorized_keys?kiddenhw:/home/grid/.ssh??

scp?authorized_keys?kiddenxcc:/home/grid/.ssh??

?然后分別在每臺(tái)datanode機(jī)器上執(zhí)行如下命令，以改變authorized_keys文件的許可權(quán)限：

[html]?view plaincopy

chmod?644?authorized_keys??

到此，從namenode發(fā)起的到其他datanode節(jié)點(diǎn)的SSH連接，就會(huì)只需在第一次登錄是輸入密碼，以后則不再需要。

可以通過(guò)如下命令發(fā)起連接：

[html]?view plaincopy

ssh?kiddenhw??

3）jdk的安裝(namenode機(jī)和datanode機(jī)均按此安裝)

下載jdk-6u29-linux-i586.bin,安裝到/usr/java下，cd到usr/java下，

[python] view plaincopy

sudo?chmod?u+x?jdk-6u29-linux-i586.bin??

sudo?./jdk-6u29-linux-i586.bin??

接下來(lái)要設(shè)置java的環(huán)境變量輸入命令：

[javascript]?view plaincopy

?sudo?gedit?/etc/profile??

在文件的最后添加以下語(yǔ)句：
[html]?view plaincopy

JAVA_HOME=/usr/java/jdk1.6.0_29??

??

export?JRE_HOME=/usr/java/jdk1.6.0_29/jre??

??

export?CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH??

??

export?PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH??

保存退出，然后執(zhí)行source /etc/profile即可。

輸入java -version 命令，出現(xiàn)如下信息就表示配置成功

[java]?view plaincopy

java?version?"1.6.0_29"??

Java(TM)?SE?Runtime?Environment?(build?1.6.0_29-b11)??

Java?HotSpot(TM)?Server?VM?(build?20.4-b02,?mixed?mode)??

4）hadoop的安裝配置(只是在namenode端安裝配置，完成后namenode可以直接把配置好的hadoop發(fā)送到各個(gè)datanode端)

在這里，下載hadoop-0.20.2.tar.gz，然后解壓到/home/grid/下即可，

在hadoop文的件夾下需要建立幾個(gè)文件夾，如下：

（這里一開(kāi)始沒(méi)有創(chuàng)建，結(jié)果查看運(yùn)行信息的時(shí)候，雖然datanode節(jié)點(diǎn)都有進(jìn)程在運(yùn)行，但livenodes節(jié)點(diǎn)依然為0）

[html]?view plaincopy

mkdir?tmp??

mkdir?hdfs??

mkdir?hdfs/name??

mkdir?hdfs/data??

接下來(lái)需要修改hadoop的conf文件夾下的配置信息：

修改hadoop-env.sh，加入如下語(yǔ)句，使得hadoop能夠找到j(luò)ava的路徑。：

[java]?view plaincopy

export?JAVA_HOME=/usr/java/jdk1.6.0_2??

修改core-site.xml，如下：

[java]?view plaincopy

<configuration>??

<property>??

<name>fs.default.name</name>??

<value>hdfs://kiddenzj:9000</value>??

</property>??

</configuration>??

修改hdfs-site.xml，如下

[cpp]?view plaincopy

<configuration>??

<property>??

<name>dfs.replication</name>??

<value>1</value>??

</property>??

</configuration>??

修改mapred-site.xml，如下：

[java]?view plaincopy

<configuration>??

<property>??

<name>mapred.job.tracker</name>??

<value>kiddenzj:9001</value>??

</property>??

</configuration>??

masters里寫(xiě)入作為namenode節(jié)點(diǎn)機(jī)器的名稱，我們這里是：kiddenzj

slaves里寫(xiě)入作為datanode節(jié)點(diǎn)的機(jī)器名，這里是：kiddenhw和kiddenxcc

到此，hadoop的有關(guān)配置已經(jīng)完成，namenode端通過(guò)如下命令把配置好的hadoop發(fā)送到各個(gè)datanode處：

[html]?view plaincopy

scp?-r?hadoop-0.20.2?kiddenhw:/home/grid??

scp?-r?hadoop-0.20.2?kiddenxcc:/home/grid??

5）修改每臺(tái)機(jī)器上/etc下面的hosts文件，也就是寫(xiě)入所有的機(jī)器名和對(duì)應(yīng)IP地址（包括namenode和datanode節(jié)點(diǎn)），我們這里修改后如下：

[java]?view plaincopy

127.0.0.1???localhost??

192.168.0.8????kiddenxcc??

192.168.0.25???kiddenzj??

192.168.0.66???kiddenhw??

6）
到此基本配置已經(jīng)完成，在namenode端cd到hadoop文件夾下，格式化分布式文件系統(tǒng)：

[html]?view plaincopy

bin/hadoop?namenode?-format??

下面接著在namenode端啟動(dòng)hadoop進(jìn)程：

[html]?view plaincopy

bin/start-all.sh??

如果沒(méi)有其它差錯(cuò)的話，hadoop可以正常啟動(dòng)，并能夠看到如下結(jié)果：

在namenode端用jps命令查看啟動(dòng)情況，如下：

[html]?view plaincopy

grid@kiddenzj:~/hadoop-0.20.2$?jps??

xxxx?Jps??

xxxx?Namenode??

xxxx?Secondarynamenode??

xxxx?JobTracker??

在datanode端用jps查看啟動(dòng)情況，如下：

[html]?view plaincopy

grid@kiddenhw:~/hadoop-0.20.2$?jps??

xxxx?Jps??

xxxx?DataNode??

xxxx?TaskTracker??

然后可以通過(guò)如下地址來(lái)查看集群運(yùn)行狀況：

[html]?view plaincopy

????http://kiddenzj:50030??

????http://kiddenzj:50070??

<pre?name="code"?class="html">????http://kiddenhw:50060</pre>??

<pre></pre>??

<pre></pre>??

<pre></pre>??

<pre></pre>??

<pre></pre>??

<pre></pre>??

?????

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的ubuntu10.04+hadoop0.20.2平台配置（完全分布式模式）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。