linux下安装hadoop
關鍵詞:Ubuntu;hadoop;
注意:開始這一步之前,需安裝Oracle的jdk,參見:
http://www.cnblogs.com/fengfengqingqingyangyang/archive/2012/11/06/2756981.html
1、下載hadoop的合適版本:http://labs.mop.com/apache-mirror/hadoop/common/
我下載的是hadoop-1.1.0.tar.gz
2、在/usr下創建hadoop目錄,并將gz文件復制到hadoop目錄下;
命令行下解壓gz文件:tar -xzf hadoop-1.1.0.tar.gz
為方便管理,修改目錄名:mv hadoop-1.1.0 hadoop
3、創建名為hadoop的用戶組和用戶
addgroup hadoop? #用戶組
adduser --ingroup hadoop hadoop
ps:創建用戶時只需輸入密碼即可,其他回車選擇默認
4、gedit打開sudoers文件,修改hadoop的權限:
gedit /etc/sudoers????
ps:無法打開sudoers時,請切換至root再執行本條及以下語句。
??? 在root ALL=(ALL)ALL語句之下添加如下一行后保存sudoers:
hadoop ALL=(ALL)ALL
PS:特別注意大小寫!!!血和淚的教訓告訴你linux中大小寫的重要性!!!
5、創建ssh-key:
5.1、確保網絡通暢,然后裝載ssh服務?
???apt-get?install?openssh-server?
??注:如果此語句執行失敗且結果為“....包被占用”的話,那么應該是ubuntu的“更新管理器”正在后臺更新,關閉更新。
5.2、生成密鑰
?ssh-keygen?-t?dsa?-P?''?-f?~/.ssh/id_dsa? #其中‘’為兩個而分號!
5.3、設置免密鑰登陸
?cat?~/.ssh/id_dsa.pub?>>?~/.ssh/authorized_keys
5.3、進入.ssh目錄,執行$ssh?localhost
?cd?/home
?ssh?localhost?
注1:?ssh密鑰默認保存在/home/hadoop/.ssh里面,.ssh文件是隱藏文件,需要Ctrl+h才能見到。
注2:如果執行ssh?localhost后,遇到這樣的錯誤:
hadoop@ubuntu:~$?ssh?localhost
ssh:?connect?to?host?localhost?port?22:?Connection?refused
方法是:再安裝一遍SSH
?apt-get?install?openssh-server?
6、配置hadoop
6.1、進入到hadoop目錄下,配置conf目錄下的hadoop-env.sh中的JAVA_HOME?
???$?cd?/usr/hadoop/hadoop? #根據你解壓hadoop的位置而定
???$?sudo?gedit?conf/hadoop-env.sh?
(打開后在文檔的上部某行有“#export?JAVA_HOME=......”字樣的地方,去掉“#”,然后在等號后面填寫你的jdk路徑,完全按此文檔來的話應改為?"?export?JAVA_HOME=/usr/java/jdk1.6.0_34"?)?
6.2、配置conf目錄下的core-site.xml?
??$?sudo?gedit?conf/core-site.xml?
打開后標簽<configuration>?</configuration>中是空的,所以在空的地方加入如下配置:
Xml代碼
<property>
???????<name>fs.default.name</name>
???????<value>hdfs://localhost:9000</value>?
</property>
?
?<property>
???????<name>dfs.replication</name>
???????<value>1</value>?
</property>
?
<property>?
???????<name>hadoop.tmp.dir</name>
???????<value>/usr/hadoop/hadoop/tmp</value>? <!--這里為安裝路徑,并且要事先mkdir個temp目錄-->?
</property>
??
6.3、配置conf目錄下的mapred-site.xml?
????$?sudo?gedit?conf/mapred-site.xml?
打開后標簽<configuration>?</configuration>中也是空的,添加如下配置:?
Xml代碼
<property>????
??????<name>mapred.job.tracker</name>????
??????<value>localhost:9001</value>??
?</property>??
7、首次進入需格式化namenode:
7.1、先進入hadoop目錄?
???$?cd?/usr/hadoop/hadoop #與解壓的hadoop包路徑有關
7.2、格式化namenode?
???$?hadoop?namenode?-format??
PS:如果hadoop沒響應,切換到root模式查看/etc/profile文件中在配置jdk路徑時的"export PATH=......."中是否有hadoop的路徑,如果沒有加上則添加,并重新啟動即可:
hadoop如果仍舊不能用的話,不妨用帶路徑的命令方式:~/usr/hadoop/hadoop/bin/hadoop
PS:記得用echo $?查看是否執行成功:返回0說明成功;返回其他說明仍有錯誤!
8、啟動hadoop進程:
bin/start-all.sh?
PS:如果NameNode沒有成功啟動的話就要先執行"bin/stop-all.sh"停掉所有東西,然后重新格式化namenode
9、用jps查看打開的進程:
至此,單機的hadoop安裝完畢!
轉載于:https://www.cnblogs.com/fengfengqingqingyangyang/archive/2012/11/06/2757309.html
總結
以上是生活随笔為你收集整理的linux下安装hadoop的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 乐意使人恐惧,源于自身的空虚
- 下一篇: 求年少有为歌词