一、前提準備

虛擬機

虛擬機使用vmwere12/15/16，有克隆和快照功能，其他版本沒使用過。

CentOS-6

連接工具

Xshell、secureCRT、WinSCP、PuTTY、MobaXterm、FinalShell

任一即可。這里使用Xshell

jdk8安裝包

hadoop安裝包

二、安裝虛擬機、xshell 和 配置CentOS

(1) 安裝VMware 和 Linux

有點多，百度網盤獲取文檔。

// 網址:鏈接：https://pan.baidu.com/s/1goqHNmBrMGTqTozyXWFakA // 提取碼：w4rd

(2) 安裝Xshell

? ? ? ? 略，選擇學生版?

三、基礎機搭建

復制mac地址

// vim /etc/udev/rules.d/70-persistent-net.rules

?

三改一加

// vim /etc/sysconfig/network-scripts/ifcfg-eth0 /** 改一： ONBOOT=no--->ONBOOT=yes 改二： BOOTPROTO=dhcp--->BOOTPROTO=static 改三： HWADDR=刪除原來的--->HWADDR=復制的mac地址 加一：IPADDR=設置自己的ip */ // 完成后，保存退出，使用ip addr查看ip改成功沒有 // 如失敗， 重啟網絡服務， service network restart，有失敗字樣，需要重啟虛擬機，先不管，下一步

?

改主機名

// vim /etc/sysconfig/network // HOSTNAME=新主機名 // 主機名要重啟虛擬機才生效，先不管

?

加映射

// vim /etc/hosts // 刪除原有的內容 // 加入 /** 192.168.6.120 hadoop 192.168.6.121 hadoop1 192.168.6.122 hadoop2 192.168.6.123 hadoop3 */

關閉防火墻

// 關閉防火墻 // service iptables stop // 關閉防火墻自動啟動 // chkconfig iptables off

重啟

// reboot

物理機與虛擬機通信ping通：三個一致

• 第一個地方：虛擬機iP的前三個網段（192.168.6）

• 第二個地方：虛擬機得網絡編輯器v8子網ip前三位（編輯->虛擬網絡編輯器）192.168.6

  ?

• 第三個地方：虛擬機在物理機上的v8網卡（在設置里搜網絡連接,windows快捷鍵win + i）

  ?

ping

// 在物理機的終端ping，ping母機的ip地址。 // ping ip地址

?

四、配置jdk 、hadoop的系統環境變量

(1) 配置jdk

使用連接工具連接，如xshell。

?

卸載自帶的jdk

// 查看原jdk // rpm -qa | grep java

// 卸載方式一 // rpm -e ? // 察看是否卸載干凈 // rpm -qa | grep java

// 卸載方式二 // yum -y remove ? // 察看是否卸載干凈 // rpm -qa | grep java

// 卸載方式三 // rpm -e --nodeps ? // 察看是否卸載干凈 // rpm -qa | grep java

進入opt目錄創建創建兩個文件

// cd /opt // mkdir softwarePackage // mkdir zipPackage // ll

解壓

// tar zxvf ? -C ? // 去掉v,不去運行，會有解壓震撼場面。 // tar zxf /opt/softwarePackage/jdk-8u144-linux-x64.tar.gz -C /opt/zipPackage/

配置系統環境變量

// 切換 cd /opt/zipPackage/jdk1.8.0_144/ // 拿路徑，并復制 // vim /etc/profile // 在末尾加入以下內容 /** #JAVA_HOME export JAVA_HOME=/opt/zipPackage/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin */

刷新并測試

// source /etc/profile // java -version

(2) 配置hadoop

解壓

配置系統環境變量

// 切換 cd /opt/zipPackage/hadoop-2.7.2/ // 拿路徑，并復制 // vim /etc/profile // 在末尾加入 /** #HADOOP_HOME export HADOOP_HOME=? export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:HADOOP_HOME/sbin */

刷新測試

// source /etc/profile // hadoop version

到這里也完成了母機的配置，現在就是克隆三臺，把母機的聲卡、打印機等沒用的都去掉，再克隆三臺。

五、配置集群環境變量

條件: 從母機克隆三臺

---

(1).克隆機更改 ip

// [root@Hadoop 桌面]# vim /etc/udev/rules.d/70-persistent-net.rules

// [root@Hadoop 桌面]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

(2). 檢查是否更改成功

// ip addr / ifconfig // 重啟網絡 service network restart

(3). 更改主機名

// [root@Hadoop 桌面]# vim /etc/sysconfig/network // 需要重啟才可以生效 重啟 reboot

?(4).改映射

// 可以不改，改的話去掉第一個 // [root@Hadoop 桌面]# vim /etc/hosts 192.168.6.121 hadoop1 192.168.6.122 hadoop2 192.168.6.123 hadoop3

(5).關閉防火墻

// 這步也可不用 // 關閉 // service iptables stop ? // 關閉開機自動啟動 // chkconfig iptables off

(6).連接xshell

克隆的三臺都重復完成了以上五步后，分別用Xshell連接.

---

(7).配置集群

須知:到這一步盡量打一個快照，以免出錯重復步驟。一下配置都在hadoop1里完成，然后傳給其他兩臺即可。

1.

// cd /opt/zipPackage/hadoop-2.7.2/etc/hadoop/ // vim core-site.xml /** <!--1、NameNode地址：ip/主機名+端口--> ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>fs.defaultFS</name> ? ? ? ? ? ? ? ?<value>hdfs://hadoop1:9000</value> ? ? ? ?</property> <!--2、Hadoop運行數據目錄:地址--> ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>hadoop.tmp.dir</name> ? ? ? ? ? ? ? ?<value>/opt/zipPackage/hadoop-2.7.2/data/tmp</value> ? ? ? ?</property> ? */ // vim hadoop-env.sh // 在末尾加上 /** #JAVA_HOME export JAVA_HOME=/opt/zipPackage/jdk1.8.0_144 */

?

2.

// vim hdfs-site.xml /** ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>dfs.replication</name> ? ? ? ? ? ? ? ?<value>3</value> ? ? ? ?</property> ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>dfs.namenode.secondary.http-address</name> ? ? ? ? ? ? ? ?<value>hadoop2:50090</value> ? ? ? ?</property> */ // vim yarn-env.sh // 在末尾加上 /** #JAVA_HOME export JAVA_HOME=/opt/zipPackage/jdk1.8.0_144 */

3.

// vim yarn-site.xml /** ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>yarn.nodemanager.aux-services</name> ? ? ? ? ? ? ? ?<value>mapreduce_shuffle</value> ? ? ? ?</property> ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>yarn.resourcemanager.hostname</name> ? ? ? ? ? ? ? ?<value>hadoop3</value> ? ? ? ?</property> */ // vim mapred-env.sh // 在末尾加上 /** #JAVA_HOME export JAVA_HOME=/opt/zipPackage/jdk1.8.0_144 */

4.

// 改名 // cp mapred-site.xml.template mapred-site.xml // vim mapred-site.xml /** <!--1.指定mr運行自YARN上--> ? ? ? ?<property> ? ? ? ? ? ? ? ?<name>mapreduce.framework.name</name> ? ? ? ? ? ? ? ?<value>yarn</value> ? ? ? ?</property> */

---

(8).傳輸

// 分別傳給hadoop2和hadoop3 // rsync -av /opt/zipPackage/hadoop-2.7.2/ect/hadoop/ root@hadoop2:/opt/zipPackage/hadoop-2.7.2/ect/hadoop/ // rsync -av /opt/zipPackage/hadoop-2.7.2/ect/hadoop/ root@hadoop3:/opt/zipPackage/hadoop-2.7.2/ect/hadoop/

六、測試

單啟

// 首先格式化，出現at說明配置出錯了。格式化只需要再hadoop1上，且格式化一次以后就不用了。 // 集群啟動第一要格式化__轉到hadoop目錄下 // cd /opt/zipPackage/hadoop-2.7.2/etc/hadoop/ // hdfs namenode -format /** 在Hadoop1上使用：hadoop-daemon.sh start namenode 并使用jps查看是否有namenode 在Hadoop1/2/3上都使用：hadoop-daemon.sh start datanode 并在每臺上使用jps，有datanode就行。 */

群起

// 任意目錄 // cd ~/.ssh/ // ssh-keygen -t rsa 后連續三個回車 // ll // 是否有 id_rsa // 傳1/2/3 // ssh-copy-id hadoop1/2/3 // 測試，實現無密碼切換 // ssh hadoop2/3 // 以上要在每臺都做一遍。

// 群起配置 // cd /opt/zipPackage/hadoop-2.7.2/ect/hadoop/ // vim slaves // 刪除原所有 + /** hadoop1 hadoop2 hadoop3 */ // 傳輸給hadoop2/3 // rsync -av /opt/zipPackage/hadoop-2.7.2/ect/hadoop/ root@hadoop2:/opt/zipPackage/hadoop-2.7.2/ect/hadoop/ // rsync -av /opt/zipPackage/hadoop-2.7.2/ect/hadoop/ root@hadoop3:/opt/zipPackage/hadoop-2.7.2/ect/hadoop/

(1)hdfs啟動

// cd /opt/zipPackage/hadoop-2.7.2

hdfs啟動效果

(2)yarn啟動

在第三臺啟動

yarn啟動效果

---

感謝大家的觀看，喜歡的話就點個贊，關注一下，謝謝！

總結

以上是生活随笔為你收集整理的搭建hadoop集群从裸机开始的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。