setup hadoop 1.2.1 on Mac
1. 在終端上輸入?ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/homebrew/go/install)" (這個命令用來安裝brew,如果之前已經安裝了可以省略)
2. 通過brew安裝hadoop
? ? brew install hadoop //這條命令會自動安裝最新的hadoop版本?
? ? 或者
? ? brew search hadoop //這個命令可以顯示可安裝的版本
? ? brew install homebrew/versions/hadoop121 //這樣可以選擇安裝hadoop的版本
3. 安裝完畢后需要設置路徑和環境變量
? ? export HADOOP_HOME="/usr/local/Cellar/hadoop121/1.2.1/libexec"
? ? export HADOOP_VERSION="1.2.1"
? ? PATH=/usr/local/Cellar/hadoop121/1.2.1/libexec/bin:$PATH
? ? export PATH
4. 配置SSH登錄
? ? $ ssh-keygen -t rsa -P ""
? ? $ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
? ? $ ssh localhost
5. 配置偽分布式環境
? ? 需要配置如下四個文件
? ? hadoop-env.sh
? ? core-site.xml
? ? hdfs-site.xml
? ? mapred-site.xml
???hadoop-env.sh
? ?增加 ?export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="
? ??core-site.xml
? ??<configuration>
? ? ? <property>
? ? ? ? <name>fs.default.name</name>
? ? ? ? <value>hdfs://localhost:9000</value>
? ? ? </property>
? ? <property>
? ? ? <name>hadoop.tmp.dir</name>
? ? ? <value>/tmp/hadoop-${user.name}</value>
? ? ? <description>A base for other temporary directories.</description>
? ? </property>
? </configuration>
??
???hdfs-site.xml
? ?<configuration>
? ? ?<property>
? ? ? ?<name>dfs.replication</name>
? ? ? ?<value>1</value>
? ? ?</property>
? ?</configuration>
???mapred-site.xml
? ?<configuration>
? ? ?<property>
? ? ? ?<name>mapred.job.tracker</name>
? ? ? ?<value>localhost:9001</value>
? ? ?</property>
? ? ?<property>
? ? ? ?<name>mapred.tasktracker.map.tasks.maximum</name>
? ? ? ?<value>4</value>
? ? ?</property>
? ? ?<property>
? ? ? ?<name>mapred.tasktracker.reduce.tasks.maximum</name>
? ? ? ?<value>2</value>
? ? </property>
? </configuration>
6. 之后需要對namenode進行format
? ??$ hadoop namenode -format
7. 啟動hadoop
? ??$ /usr/local/Cellar/hadoop/1.1.1/libexec/bin/start-all.sh
? ? 如果設置了上面3中的環境變量,只需要鍵入 start-all.sh
8. 查看hadoop運行狀況
? ? $ jps
? ? 49770 TaskTracker
? ? 49678 JobTracker
? ? 49430 NameNode
? ? 49522 DataNode
? ? 49615 SecondaryNameNode
? ? 49823 Jps
9. 結束hadoop運行
? ?stop-all.sh
總結
以上是生活随笔為你收集整理的setup hadoop 1.2.1 on Mac的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Hadoop1.2.1伪分布模式安装指南
- 下一篇: hadoop1.2.1安装配置