Hadoop的搭建,VmwareWorkstation 16pro + Ubuntu18.04.1
?文章目錄
-
前言
-
一、VmwareWorkstation 16pro安裝Ubuntu18.04.1?
-
二、Ubuntu的基礎配置
1.設置國內鏡像源
2.下載安裝Vmware Tools
-
三、安裝Hadoop
-
總結
?
前言
Hadoop的搭建過程。
?
一、VmwareWorkstation 16pro安裝Ubuntu18.04.1?
虛擬機名稱可以根據自己喜好命名,安裝位置根據自己電腦實際情況選擇合適的位置,點擊下一步。
處理器核數多的話可以給2個,核數少直接都給1個,點擊下一步。
一般電腦運存為8g,使用推薦內存,如果小于8g則選擇最低推薦內存,點擊下一步。
選擇使用ISO映像文件,點擊瀏覽找到UbuntuISO鏡像文件,然后點擊關閉,然后點擊完成。
建議大家選擇全英的系統,不然后期會很難受
這個是minimal的安裝,可以避免很多不需要的軟件安裝上去
選擇上海
設置用戶名和密碼,然后Continue
這一步能點Skip就點,不然很慢,因為它用的是國外的鏡像源下載,咱們一會去設置國內鏡像源。
點擊Restart Now
這個界面看英文要回車,別傻等哈。
安裝成功,咱們enjoy。
二、Ubuntu的基礎配置
1.設置國內鏡像源
2.下載安裝Vmware Tools
由于我已經安裝過了,所以我這里顯示的是重新安裝,你們顯示的是安裝Vmware Tools,點擊就好。Vmware Tools的作用:一個是可以直接從主機拖拽文件到虛擬機;一個是界面大小能夠自適應。
鼠標右鍵打開terminal,敲入如下命令,回車。(tips:可以使用tab鍵補全命令)
輸入一個yes后,一直回車相當于默認每一個選項。
至此鏡像源和Vmware Tools已經配置好了,我們最好保存一個快照養成習慣,如果出現問題隨時都可以系統到這個位置。
三、安裝Hadoop
搜索引擎能翻出去就用Google,不能就用必應。下載鏈接:https://hadoop.apache.org/release/2.9.2.html
在等待下載的過程中,我們可以先干點別的,按ctrl +alt+t打開終端窗口,執行:sudo apt-get update命令,更新apt,后續我們使用apt安裝軟件,如果沒有更新可能一些軟件安裝不了。
執行:sudo apt-get install vim命令,安裝vim,后續使用vim更改一些配置文件。(如果實在不會用vi/vim,請將后面用到vim的地方改為gredit,這樣可以使用文本編輯器進行修改,并且每次文件更改完成后請關閉整個gredit程序,否則會占用終端)
安裝SSH、配置SSH無密碼登錄。集群、單節點模式都需要用到SSH登錄,Ubuntu默認已安裝了SSH client,此外還需要安裝SSH server,執行:sudo apt-get install openssh-server
安裝后可以使用如下命令登錄本機:
ssh localhost如果有如下提示(SSH首次登錄提示),輸入yes,然后按提示輸入密碼,這樣就登錄到本機了。
但是這樣登錄是每次需要輸入密碼的,我們需要配置成SSH無密碼登錄比較方便。
首先退出剛才的ssh,就回到了我們原先的終端窗口,然后利用ssh-keygen生成密鑰,并將密鑰加入到授權中。
eixt #退出剛剛的ssh localhost cd ~/.ssh/ #若沒有該目錄,請先執行 ssh-keygen -t rsa #會有提示,都按回車即可 cat ./id_rsa.pub >> ./authorized_keys #加入授權注意:在執行ssh-keygen -t rsa命令時,敲三下回車。
執行以下命令,安裝jdk
sudo apt-get install openjdk-8-jre openjdk-8-jdksudo vim ~/.bashrc按i進入編輯模式,配置JAVA_HOME在圈起來的地方添加
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64然后按Esc退出編輯模式,然后按冒號“:”,輸入wq,即可保存退出。
輸入下圖中的命令行驗證,如果沒有錯誤,則jdk安裝成功
把之前下載的Hadoop安裝包拖拽到虛擬機桌面,執行如下命令:
sudo tar -zxf ~/Desktop/hadoop-2.9.2.tar.gz -C /usr/localsudo mv ./hadoop-2.9.2/./hadoopsudo chown -R smallsa ./hadoopcd hadoop/./bin/hadoop version單機版Hadoop安裝成功
安裝Hadoop偽分布版本
執行以下命令:
lscd etclscd hadooplsvim hadoop-env-sh將如下命令添加到第一行
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64執行命令:
vim core-site.xml添加如下代碼到圖中的位置:
<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property> </configuration>執行命令:
vim hdfs-site.xml添加如下代碼到圖中位置
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property> </configuration>測試hadoop
在以偽分布安裝完成Hadoop之后,操作流程如下:
1.運行jps,查看當前有哪些進程。
配置完以后,第一次需要格式化,以后就不需要。
2.運行Hadoop
執行命令行:
./sbin/start-dfs.sh #啟動hadoop dfs啟動完成,jps查看進程,以及網頁登陸
快照保存hadoop安裝成功的時候,之后會進行spark的安裝。
?
總結
總結
以上是生活随笔為你收集整理的Hadoop的搭建,VmwareWorkstation 16pro + Ubuntu18.04.1的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 我的世界服务器修改成创造,我的世界怎么创
- 下一篇: 基于Hadoop的Spark超快安装