Hadoop 的配置有些麻煩，目前沒(méi)有一鍵配置的功能，雖然當(dāng)時(shí)我在安裝過(guò)程中也參考了有關(guān)教程，但還是遇到了很多坑，一些老版本的安裝過(guò)程已不適用于 hadoop2.x，下面就介紹一下具體步驟。

---

安裝 Java

因?yàn)橹笫褂?Hadoop 需要運(yùn)行 jar 包，所以 Java 環(huán)境是必須的，這里不作贅述，相信大多數(shù)學(xué)習(xí) Hadoop 的小伙伴計(jì)算機(jī)上都早已經(jīng)搭好 Java 環(huán)境。

---

下載 Hadoop 源碼

點(diǎn)擊 這里 ，有所有的歷史版本。本教程以 hadoop-2.8.2 為例，下載 hadoop-2.8.2.tar.gz 即可。下載完成后，解壓到本地合適的目錄下。

---

添加 Hadoop 環(huán)境變量

在 .bash_profile 文件中配置 Hadoop 的環(huán)境變量，使用 vim 打開(kāi)該文件，在終端運(yùn)行如下命令打開(kāi)文件：

vim ~/.bash_profile

進(jìn)入編輯模式后添加以下兩行代碼（修改成自己機(jī)子上的路徑）：

export HADOOP_HOME=/Users/Cyan/coding/hadoop/hadoop-2.8.2
export PATH=$PATH:$HADOOP_HOME/bin

退出編輯模式，使用 :wq 保存修改，然后運(yùn)行 source 命令使文件中的修改立即生效：

#source ~/.bash_profile

在終端執(zhí)行命令：

hadoop version

結(jié)果如下，說(shuō)明 hadoop 路徑配置好了：

添加好了環(huán)境變量，下面就是修改一些相關(guān)配置文件。

---

修改 Hadoop 的配置文件

需要修改的 Hadoop 配置文件都在目錄 etc/hadoop 下，包括：

• hadoop-env.sh
• core-site.xml
• hdfs-site.xml
• mapred-site.xml
• yarn-site.xml

下面我們逐步進(jìn)行配置：

1. 修改 hadoop-env.sh 文件

直接設(shè)置 JAVA_HOME 的路徑，不要用$JAVA_HOME 代替，因?yàn)?Hadoop 對(duì)系統(tǒng)變量的支持不是很好。修改下面兩個(gè)路徑（用你機(jī)子上的 JAVA 路徑和 Hadoop 目錄的路徑代替）：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_151.jdk/Contents/Home
export HADOOP_CONF_DIR=/Users/Cyan/coding/hadoop/hadoop-2.8.2/etc/hadoop

2. 修改 core-site.xml 文件

設(shè)置 Hadoop 的臨時(shí)目錄和文件系統(tǒng)，localhost:9000 表示本地主機(jī)。如果使用遠(yuǎn)程主機(jī)，要用相應(yīng)的 IP 地址來(lái)代替，填寫遠(yuǎn)程主機(jī)的域名，則需要到 /etc/hosts 文件中做 DNS 映射。在 core-site.xml 文件里作如下配置：

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!--用來(lái)指定hadoop運(yùn)行時(shí)產(chǎn)生文件的存放目錄  自己創(chuàng)建--><property><name>hadoop.tmp.dir</name><value>/Users/Cyan/coding/hadoop/hadoop-2.8.2/tmp</value></property>
</configuration>

3. 修改 hdfs-site.xml 文件

hdfs-site.xml 的配置修改如下，注意 name 和 data 的路徑都要替換成本地的路徑：

<configuration><property><name>dfs.replication</name><value>1</value></property><!--不是root用戶也可以寫文件到hdfs--><property><name>dfs.permissions</name><value>false</value>    <!--關(guān)閉防火墻--></property><!--把路徑換成本地的name坐在位置--><property><name>dfs.namenode.name.dir</name><value>/home/hadoop/cdh4/hadoop/dfs/name</value></property><!--在本地新建一個(gè)存放hadoop數(shù)據(jù)的文件夾，然后將路徑在這里配置一下--><property><name>dfs.datanode.data.dir</name><value>/data1/hadoop</value></property>
</configuration>

4. 修改 mapred-site.xml 文件

由于根目錄下 etc/hadoop 中沒(méi)有 mapred-site.xml 文件，所以需要?jiǎng)?chuàng)建該文件。但是目錄中提供了 mapred-site.xml.template 模版文件。我們將其重命名為 mapred-site.xml，然后將 yarn 設(shè)置成數(shù)據(jù)處理框架：

<configuration><property><!--指定mapreduce運(yùn)行在yarn上--><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

5. 修改 yarn-site.xml 文件

配置數(shù)據(jù)的處理框架 yarn：

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>localhost:9000</value></property>
</configuration>

至此需要修改和配置的文件都已經(jīng)沒(méi)有問(wèn)題了。

---

啟動(dòng) Hadoop

1. 啟動(dòng) NameNode

在終端運(yùn)行命令：

hadoop namenode -format

結(jié)果如下就是成功了：

2. 啟動(dòng) HDFS

在終端首先進(jìn)入 /sbin 目錄：

cd /Users/Cyan/coding/hadoop/hadoop-2.8.2/sbin

然后啟動(dòng) HDFS：

./start-dfs.sh

如果成功了，過(guò)程中需要輸三次密碼。

如果報(bào)錯(cuò) “connection refused”，則需要在計(jì)算機(jī)系統(tǒng)設(shè)置中打開(kāi)遠(yuǎn)程登錄許可。

點(diǎn)擊 Sharing（共享）：

勾選 Remote Login（遠(yuǎn)程登錄），然后添加當(dāng)前用戶：

這樣就會(huì)解決 connection 的問(wèn)題，如果還有其他錯(cuò)誤，請(qǐng)檢查路徑添加的版本和本機(jī)的版本是否匹配。

3. 啟動(dòng) yarn

在終端首先進(jìn)入 /sbin 目錄：

cd /Users/Cyan/coding/hadoop/hadoop-2.8.2/sbin

然后啟動(dòng) yarn：

./ start-yarn.sh

在終端執(zhí)行：

jps

結(jié)果如下，證明 Hadoop 可以成功啟動(dòng)：

我們也可以在瀏覽器中打開(kāi) http://localhost:50070/ 來(lái)查看 Hadoop 的啟動(dòng)情況：

---

Hadoop 的安裝啟動(dòng)就完成啦！接下來(lái)就可以通過(guò)一些 shell 命令來(lái)操作 Hadoop 下的文件了，例如：

hadoop fs -ls /　　　　　　　 查看根目錄下的文件及文件夾
hadoop fs -mkdir /test      在根目錄下創(chuàng)建一個(gè)文件夾 testdata
hadoop fs -rm /.../...      移除某個(gè)文件
hadoop fs -rmr /...         移除某個(gè)空的文件夾

---

第一時(shí)間了解更多大數(shù)據(jù)相關(guān)內(nèi)容，歡迎關(guān)注微信公眾號(hào)【數(shù)據(jù)池塘】：

總結(jié)

以上是生活随笔為你收集整理的hadoop启动_Mac OS X 上搭建 Hadoop 开发环境指南的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。