安装hadoop-2.3.0-cdh5.1.2全过程
工欲善其事，必先利其器，啥都不說，Hadoop下載：http://archive.cloudera.com/cdh5/cdh/5/? 選擇好相應版本搞起，在本文講述的是 圍繞hadoop-2.3.0-cdh5.1.2版本安裝過程。（安裝環境為自己在VMWare?10里面搭建的三臺?Linux?虛擬機）。
1、hadoop?是大apache開源的分布式離線計算框架，語言：java，既然這樣，要想搭建hadoop環境（不管偽分布式 還是多機集群），那必須在服務器上安裝好jdk。
簡單過程簡單說，簡要描述下jdk安裝配置過程（據說，hadoop-2.3.0需要jdk1.7+版本支持，咱也不管了，那就裝吧，版本：jdk-7u67-linux-i586.tar.gz，安裝新jdk之前記得找到linux自帶的jdk版本并刪除，不明白處自百之）
Ubuntu?12.04下安裝JDK1.7?http://www.linuxidc.com/Linux/2012-06/62239.htm
CentOS6.3安裝JDK和環境配置?http://www.linuxidc.com/Linux/2012-09/70780.htm
Ubuntu14.04 64位 安裝JDK1.7??http://www.linuxidc.com/Linux/2015-01/111102.htm
a、解壓到/usr/java目錄下
tar? xvf jdk-7u67-linux-i586.tar.gz? -C /usr/java
b、 vi /etc/profile
export? JAVA_HOME=/usr/java/jdk1.7.0_67
export? CLASSPATH=/usr/java/jdk1.7.0_67/lib
export? PATH=$JAVA_HOME/bin:$PATH
c、source /etc/profile //不重啟服務器情況下，這句讓配置文件生效
d、java -version? //驗證jdk是否正確安裝
2、我們先規劃好三臺機，并制定好 三臺機之后的角色：
主機名? ? ip? ? ? ? ? ? ? ? ? ? ? ? ? ? 角色
master? 192.168.140.128? ? NameNode? ? ResourceManager
slave1? 192.168.140.129? ??DateNode? ??NodeManager
slave2? ? 192.168.140.130? ? DateNode? ? NodeManager
3、修改 主機名：
? ? ? root 權限下：vi /etc/sysconfig/network
? ? ? 修改內容：HOSTNAME=master （同理 兩臺slave主機也要修改此配置，并分配相應的名字）
? ? ? 同時 vi? /etc/hosts? ? ? ? ? （ 同理 兩臺slave主機也要修改此配置，并分配相應的hosts對應關系）??
? ? ? ? ? 127.0.0.1 master
? ? ? ? ? 192.168.140.129 slave1
? ? ? ? ? 192.168.140.130 slave2
? ? ? 修改完重啟：reboot
4、建立hadoop用戶（包括兩臺slave）：
? ? ? ??useradd?hadoop?
? ? ? ??passwd?hadoop
5、master上配置SSH免密碼登錄
??su??hadoop? //切換到hadoop用戶目錄下
? ssh-keygen-t rsa(一路回車 生成密鑰)
??cd/home/hadoop/.ssh/
? ??ls? //查看是否有生成兩個文件 id_rsa.pub?id_rsa
6、同步ssh信息到兩臺slave,? 登錄兩臺slave
? ? ??mkdir?/home/hadoop/.ssh
? ? ? scp? id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/
? ? ??mv?id_rsa.pub?authorized_keys
7、新建hadoop安裝目錄? （root權限下操作）
? ? ? mkdir -p /data/hadoop
8、?解壓下載下來的hadoop安裝包到安裝目錄（root權限下操作）
? ? ? tar xvf hadoop-2.3.0-cdh5.1.2.tar.gz -C/data/hadoop
9、將安裝目錄權限賦予給?hadoop用戶：（root權限下操作）
? ? ??chown?-R?hadoop.hadoop?/data/hadoop/
10、配置hadoop安裝信息和路徑（root權限下操作）
? ? ? vi /etc/profile （在最后加上下面內容）
? ? ? ? ? export HADOOP_HOME=/data/hadoop
? ? ? ? ? export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
? ? ? source /etc/profile? //讓配置生效
11、master上/data/hadoop/etc/hadoop
? ? ? vi slaves
? ? ? ? ? slave1
? ? ? ? ? slave2
? ? ? vi masters
? ? ? ? ? master
12、修改如下幾個文件，并在中間添加以下相應內容：
a、vi core-site.xml
<configuration>
? ? ? ? <property>
? ? ? ? ? ? ? <name>fs.defaultFS</name>
? ? ? ? ? ? ? <value>hdfs://master:9000</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>io.file.buffer.size</name>
? ? ? ? ? ? ? <value>131072</value>
? ? ? ??property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>hadoop.tmp.dir</name>
? ? ? ? ? ? ? <value>file:/data/hadoop/tmpvalue>
? ? ? ? </property>
</configuration>
b、vi hdfs-site.xml
<configuration>
? ? ? ? <property>
? ? ? ? ? ? ? <name>dfs.namenode.name.dir</name>
? ? ? ? ? ? ? <value>file:/data/hadoop/dfs/name</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>dfs.namenode.data.dir</name>
? ? ? ? ? ? ? <value>file:/data/hadoop/dfs/data</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>dfs.replication</name>?
? ? ? ? ? ? ? <value>2</value>
? ? ? ? </property>
</configuration>
c、vi yarn-site.xml
<configuration>
? ? ? ? <property>
? ? ? ? ? ? ? <name>yarn.resourcemanager.address</name>
? ? ? ? ? ? ? <value>master:8032</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>yarn.resourcemanager.scheduler.address</name>
? ? ? ? ? ? ? <value>master:8030</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>yarn.resourcemanager.resource-tracker.address</name>
? ? ? ? ? ? ? <value>master:8031</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>yarn.resourcemanager.admin.address</name>
? ? ? ? ? ? ? <value>master:8033</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>yarn.resourcemanager.webapp.address</name>
? ? ? ? ? ? ? <value>master:8088</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? ? ? ? <value>mapreduce_shuffle</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
? ? ? ? ? ? ? <value>org.apache.hadoop.mapred.ShuffleHandler</value>
? ? ? ? </property>
</configuration>
d、mapred-site.xml
<configuration>
? ? ? ? <property>
? ? ? ? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? ? ? ? <value>yarn</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>mapreduce.jobhistory.address</name>
? ? ? ? ? ? ? <value>master:10020</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? <name>mapreduce.jobhistory.webapp.address</name>
? ? ? ? ? ? ? <value>master:19888</value>
? ? ? ? </property>
</configuration>
至此 配置文件基本配置完畢。
13、將master上的hadoop安裝文件同步到slave1 slave2，(hadop用戶權限下即可)
? ? ? cd /data/hadoop
? ? ? scp -r /data/hadoop/*hadoop@slave1:/data/hadoop/? ? ? ? //同步到slave1
? ? ??scp?-r?/data/hadoop/*hadoop@slave2:/data/hadoop/? ? ? ? //同步到slave2
14、最后我們來到 /data/hadoop/bin目錄下
? ? ? ./hadoop namenode -format? //啟動hadoop
15、如果沒有報錯信息，基本是可以說?hadoop起來了,隨便截取了最后幾段日志：
15/01/13 18:08:10 INFO util.GSet:VM type? ? ? = 32-bit
15/01/13 18:08:10 INFO util.GSet:0.25% max memory 966.7 MB = 2.4 MB
15/01/13 18:08:10 INFO util.GSet:capacity? ? ? = 2^19 = 524288 entries
15/01/13 18:08:10?INFOnamenode.FSNamesystem:?dfs.namenode.safemode.threshold-pct?= 0.9990000128746033
15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.extension? ? = 30000
15/01/13 18:08:10?INFOnamenode.FSNamesystem:?Retry?cache?on?namenode?is?enabled
15/01/13 18:08:10 INFOnamenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cacheentry expiry time is 600000 millis
15/01/13 18:08:10 INFO util.GSet:Computing capacity for map NameNodeRetryCache
15/01/13 18:08:10 INFO util.GSet:VM type? ? ? = 32-bit
15/01/13 18:08:10 INFO util.GSet:0.029999999329447746% max memory 966.7 MB = 297.0 KB
15/01/13 18:08:10 INFO util.GSet:capacity? ? ? = 2^16 = 65536 entries
15/01/13 18:08:10 INFOnamenode.AclConfigFlag: ACLs enabled? false
Re-format filesystem in StorageDirectory /data/hadoop/dfs/name ? (Y or N) Y
15/01/13 18:08:17 INFOnamenode.FSImage: Allocated new BlockPoolId:BP-729401054-127.0.0.1-1421143697660
15/01/13 18:08:17 INFOcommon.Storage: Storage directory /data/hadoop/dfs/name has been successfullyformatted.
15/01/13 18:08:18 INFOnamenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
15/01/13 18:08:18 INFOutil.ExitUtil: Exiting with status 0
15/01/13 18:08:18 INFOnamenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting downNameNode at master/127.0.0.1
************************************************************/
程序員干久了，性格沉悶，言辭干癟，簡單的描述只為做個記錄，多多指教。
?
CentOS安裝和配置Hadoop2.2.0??http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 13.04上搭建Hadoop環境?http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置?http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu上搭建Hadoop環境（單機模式+偽分布模式）?http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu下Hadoop環境的配置?http://www.linuxidc.com/Linux/2012-11/74539.htm
單機版搭建Hadoop環境圖文教程詳解?http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建Hadoop環境（在Winodws環境下用虛擬機虛擬兩個Ubuntu系統進行搭建）?http://www.linuxidc.com/Linux/2011-12/48894.htm
更多Hadoop相關信息見Hadoop?專題頁面?http://www.linuxidc.com/topicnews.aspx?tid=13
摘自永久更新鏈接地址：http://www.linuxidc.com/Linux/2015-01/111740.htm
?
轉載于:https://www.cnblogs.com/xd502djj/p/5020172.html
與50位技術專家面對面20年技術見證，附贈技術全景圖總結
以上是生活随笔為你收集整理的安装hadoop-2.3.0-cdh5.1.2全过程的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Bootstrap简介及Bootstra
- 下一篇： jQuery-1.9.1源码分析系列（十