Mac上安装hadoop
生活随笔
收集整理的這篇文章主要介紹了
Mac上安装hadoop
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1.安裝JAVA——之后會運行jar包,肯定需要java的運行環境
查看java版本: [html]?view plaincopy
————————————————————————————————————————————————————————————————————————————
2.下載hadoop 地址:http://hadoop.apache.org/releases.html
然后看到
我沒有選版本太高的,因為不會用
存放的路徑可以看到:/Users/hadoop
配置mac os 自身環境
這個主要是配置ssh環境。先在terminal里面輸入
[html]?view plaincopy
不過這里面還有一個麻煩,就是每次都會要求輸入用戶密碼。《Hadoop實戰》提供了一種免登陸的方法。首先,輸入
[html]?view plaincopy
[html]?view plaincopy
3設置環境變量
在實際啟動Hadoop之前,有三個文件需要進行配置。
但在這之前,我們需要設置一下幾個類似Windows的環境變量,方便以后在命令行敲命令。
export HADOOP_HOME=/Users/hadoop/hadoop-1.2.1 ? ? ?(根據你自己的目錄進行設定)
export PATH=$PATH:$HADOOP_HOME/bin
注明:export設置只對當前的bash登錄session有效。這是存在內存里面的。如果你嫌麻煩,就直接寫入etc中的profile文件里面就好。 ————————————————————————————————————————————————————————————————————————————
4.配置hadoop-env.sh
在Hadoop->conf目錄下,找到hadoop-env.sh,打開編輯進行如下設置:
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home(去掉注釋)
export HADOOP_HEAPSIZE=2000(去掉注釋)
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"(去掉注釋)
注意第三個配置在OS X上最好進行配置,否則會報“Unable to load realm info from SCDynamicStore”。
————————————————————————————————————————————————————————————————————————————
5.配置core-site.xml——指定了NameNode的主機名與端口 [html]?view plaincopy
6.配置hdfs-site.xml——指定了HDFS的默認參數副本數,因為僅運行在一個節點上,所以這里的副本數為1 [html]?view plaincopy
7.配置mapred-site.xml——指定了JobTracker的主機名與端口 [html]?view plaincopy
8.安裝HDFS 經過以上的配置,就可以進行HDFS的安裝了。 [html]?view plaincopy
如果出現以下結果:
就說明你的HDFS已經安裝成功了。
9.啟動Hadoop
很簡單,一條命令搞定。
[html]?view plaincopy
到這里,hadoop單機偽分布式的環境就算搭建好了。 下一篇,用最簡單的程序來看下效果。
總結
以上是生活随笔為你收集整理的Mac上安装hadoop的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: hadoop三个配置文件的参数含义说明
- 下一篇: Hadoop1.2.1伪分布模式安装指南