?

學習hadoop有一個星期了，先是看了看書，hadoop權威指南，很不錯的入門級教材。

書的內容偏向于基礎原理，多讀幾遍會收獲很多。

本人菜鳥一只，為了把自己的學習心得分享給大家，就在此開始記錄一下，希望大神們批評指點，好吧，主題開始：

hadoop 偽分布模式

操作系統：Centos6.2

JDK：jdk1.6.0_30

hadoop版本：hadoop-0.20.203.0

--建議不在root下操作，可以新建hadoop用戶和組

1.安裝JDK環境

--在/usr/java/目錄下解壓并安裝，安裝好之后配置一下環境變量PATH

--vi或者gedit /etc/profile 在最后添加java環境

----export JAVA_HOME=/usr/java/jdk1.6.0_30

----export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

----export PATH=$PATH:$JAVA_HOME/bin

--環境配置好之后，在終端里輸入java -version ，出現版本信息則表示成功，否則可能是環境路徑配置有誤，請仔細檢查。

2.ssh驗證配置

--Hadoop 需要使用SSH 協議，namenode 將使用SSH 協議啟動 namenode和datanode 進程，偽分布式模式數據節點和名稱節點均是本身，必須配置 SSH localhost驗證。

--驗證步驟有提示就按回車

----$ssh-keygen -t? rsa

有提示就按回車 然后通過命令行cd .ssh進入目錄 ?執行下面的命令，就會設置好無密碼登錄了

----$cat id_rsa.pub > authorized_keys

3.host主機的設置

127.0.0.1 localhost.localdomain localhost

::1 localhost6.localhostdomain6 localhost6

127.0.0.1 namenode datanode01

4.hadoop安裝與配置

--在用戶目錄下解壓hadoop并進行配置

----在conf目下找到hadoop-env.sh，打開編輯器添加下面的jdk安裝路徑

#set java env

export JAVA_HOME=/usr/java/jdk1.6.0_30

?--/conf/配置core-site.xml

?<property>

? ? ? ? ?<name>fs.default.name</name>

? ? ? ? ?<value>hdfs://namenode:9000/</value>

? ?</property>

? ?<property>

? ? ?<name>hadoop.tmp.dir</name>

? ? ?<value>/home/hadoop/hadooptmp</value>

? ?</property>

--?配置hdfs-site.xml

<property>

? ? ?<name>dfs.name.dir</name>

? ? ?<value>/home/hadoop/hdfs/name</value>

? </property>

? <property>

? ? ?<name>dfs.data.dir</name>

? ? ?<value>/home/hadoop/hdfs/data</value>

? </property>

? ? ?<property>

? ? ? ? ?<name>dfs.replication</name>

? ? ? ? ?<value>1</value>

? ? ?</property>

--配置mapred-site.xml

? ?<property>

? ? ? ? ?<name>mapred.job.tracker</name>

? ? ? ? ?<value>namenode:9001</value>

? ? ?</property>

--配置master，slaves文件

vi master 內容修改為 namenode

vi slaves 內容修改為 datanode01

hadoop偽分布模式算是基本配置好，然后測試一下吧

hadoop namenoede -format 格式化一下

./start-all.sh 啟動所有守護進程

然后jps一下 會看到下面的內容

6179 JobTracker

6296 TaskTracker

6367 Jps

5883 NameNode

6002 DataNode

6111 SecondaryNameNode

這樣才算是真正跑起來了 ? ??

大家快來試試吧！

?

文章比較簡略，我也是配置了大半天才成功，現在正在研究Hbase+Hive，就寫到這吧。

?

轉載于:https://blog.51cto.com/mygirl721/831596

總結

以上是生活随笔為你收集整理的hadoop 伪分布模式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。