hadoop2.8配置_Hadoop2.8.2安装与配置(单机)
解壓并移動到/software目錄:
tar -zxvf hadoop-2.8.2.tar.gz
mv hadoop-2.8.2 /software/hadoop
在/etc/profile文件添加:
export HADOOP_HOME=/software/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
保存并且更新/etc/profile文件:source /etc/profile。
編輯hadoop-env.sh文件:vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh,在最后加上:
export JAVA_HOME=/software/jdk
修改Configuration文件:vim $HADOOP_HOME/etc/hadoop/core-site.xml
fs.default.name
hdfs://localhost:9000
修改hdfs-site.xml:vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml
dfs.replication
1
修改mapred-site.xml:
cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml
mapreduce.framework.name
yarn
修改yarn-site.xml:vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
初始化hadoop:
hdfs namenode –format
啟動
$HADOOP_HOME/sbin/start-all.sh
輸入jps查看是否成功:
檢查WebUI,瀏覽器打開端口:http://localhost:8088
這里是用宿主機訪問虛擬機,所以ip是虛擬機的ip。
停止
$HADOOP_HOME/sbin/stop-all.sh
安裝完成。
但是在啟動時候有一個警告,提示hadoop不能加載本地庫:
解決方法:
在/etc/profile中添加:
HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
保存并更新文件:source /etc/profile
并且在hadoop-env.sh添加: vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
export HADOOP_HOME=/software/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
總結(jié)
以上是生活随笔為你收集整理的hadoop2.8配置_Hadoop2.8.2安装与配置(单机)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: mysql适合什么阵列_如何选择最合适的
- 下一篇: c语言递归函数检测回文,递归法判断回文字