hadoop+hbase安装
實(shí)驗(yàn)步驟
實(shí)現(xiàn)步驟
先看注意點(diǎn)和參考。
安裝Linux系統(tǒng)
有如下幾種方式
- 安裝虛擬機(jī)
- 安裝雙系統(tǒng)
- 使用服務(wù)器
- docker容器
這里介紹一下虛擬機(jī)方式
預(yù)先下載vware軟件
Ubuntu20.04鏡像文件,
文件->新建虛擬機(jī)->自定義->下一步
選擇Linux 和Ubuntu,選擇好要安裝的位置,配置自己設(shè)置,然后一直下一步如下,點(diǎn)擊自定義硬件
? 選擇剛剛下載的映像文件
按照提示界面自主安裝
下載一些必要的軟件
-
vim或者其他編輯器軟件
sudo apt install vim -
apt換源
-
安裝jdk
sudo apt install update sudo apt install openjdk-8-jdk -y -
ssh
su hadoop ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 640 ~/.ssh/authorized_keys ssh localhost
安裝Hadoop
Hadoop有三種安裝方式
- 單機(jī):下載就可以用了,用于測(cè)試mp等等…
- 偽分布:用一臺(tái)機(jī)器模擬集群
- 分布式:顧名思義
下載Hadoop
wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz #解壓 tar -zxf hadoop-3.2.2.tar.gz -C /usr/local/#重命名 mv /usr/local/hadoop-3.2.2/ /usr/local/hadoop # 添加權(quán)限, chown -R 777 /usr/local/hadoop/下載后會(huì)得到一個(gè)壓縮文件
配置偽分布
配置路徑
vim ~/.bashrc export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export HADOOP_YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin# 退出后保存 #生效 source ~/.bashrc修改配置信息
cd /usr/local/hadoop/etc/hadoop vim core-site.xml vim hdfs.xml <configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value></property><property><name>fs.defaultFS></name><value>hdfs://localhost:9000</value></property> </configuration> <!--hdfs.xml --> <configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property> </configuration>啟動(dòng)Hadoop
-
格式namenode 會(huì)生成一些基本的信息
cd /usr/local/hadoop/bin hdfs namenode -format -
啟動(dòng)Hadoop
cd /usr/local/hadoop/sbin ./start-dfs.sh啟動(dòng)成功后應(yīng)該看到如下的圖
hbase安裝
下載解壓hbase
wget https://mirrors.cnnic.cn/apache/hbase/2.3.6/hbase-2.3.6-bin.tar.gz tar -zxf hbase-2.3.6-bin.tar.gz -C /usr/local mv /usr/local/hbase-2.3.6/ hbase配置hbase
#在bashrc中添加bin的路徑，也可以不加 export path=....<:/usr/local/hbase/bin># 修改權(quán)限,為了簡(jiǎn)單起見(jiàn) chmod -R 777 /usr/local/hbase配置hbase-env.sh.
cd /usr/local/hbase/conf vim hbase-env.sh export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HBASE_CLASSPATH=/usr/local/hbase/conf export HBASE_MANAGES_ZK=false #這里和書(shū)上不同設(shè)置為false我們自己下載zookeeper進(jìn)行守護(hù)配置hbase-site.xml
<property><name>hbase.cluster.distributed</name><value>true</value> //這里設(shè)置分布</property><property><name>hbase.tmp.dir</name><value>./tmp</value></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>false</value></property><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property>## 下載zookeeper
wget https://mirrors.cnnic.cn/apache/zookeeper/stable/apache-zookeeper-3.6.3-bin.tar.gztar -zxf apache-zookeeper-3.6.3-bin.tar.gz -C /usr/localmv /usr/local/apache-zookeeper-3.6.3-bin.tar.gz/ /usr/local/zookeeper配置zookeeper
cp zoo_sample.cfg zoo.cfgtickTime=2000 initLimit=10 syncLimit=5 dataDir=/tmp/zookeeper clientPort=2181#默認(rèn)端口,如果有沖突可以改,但是hbase也得修改cd zookeeper/bin #目錄下 ./zkServer.sh start全部啟動(dòng)后如下所示
注意點(diǎn)
上述描述了大致的操作過(guò)程，可以參考書(shū)也可以參考這篇文章，沒(méi)有全部描述過(guò)程但是殊途同歸，在安裝的時(shí)候或多或少會(huì)出現(xiàn)一些錯(cuò)誤需要注意
-
善于使用log查看錯(cuò)誤
cat ../logs/hadoop-hadoop-namenode-VM-4-6-ubuntu.log -
善于使用搜索引擎 Google=bing > 百度 有助于提高效率，同時(shí)，StackOverflow>csdn
-
需要虛擬機(jī)配置分配的稍微大一點(diǎn)，我的虛擬機(jī)配置內(nèi)存6G，處理器2核。我在騰訊的1核內(nèi)存2G的輕量服務(wù)器上配置，啟動(dòng)就幾乎占滿(mǎn)了空間。
參考
-
書(shū)本
-
Hadoop安裝Ubuntu20.04
-
Hadoop+hbase+zookeeper偽分布安裝（這篇文章是我之前寫(xiě)的，或許會(huì)有點(diǎn)出入）
1核內(nèi)存2G的輕量服務(wù)器上配置，啟動(dòng)就幾乎占滿(mǎn)了空間。
[外鏈圖片轉(zhuǎn)存中…(img-PyZigcID-1634369802047)]
參考
-
書(shū)本
-
Hadoop安裝Ubuntu20.04
-
Hadoop+hbase+zookeeper偽分布安裝（這篇文章是我之前寫(xiě)的，或許會(huì)有點(diǎn)出入）
總結(jié)
以上是生活随笔為你收集整理的hadoop+hbase安装的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： halcon create_ocr_cl
- 下一篇： 作业1.3