windows下安装Hadoop,就是这么简单
Hadoop集群肯定還是要在linux下使用好些,但是對于想嘗鮮的開發者或者上層應用開發來說,在windows下搭建一個單節點的應用也是蠻有必要的,當然只作為開發測試環境^_^。
一、環境準備
1、JDK安裝
2、Hadoop安裝包(官網下載)
3、hadooponwindows-master(可使配置更簡潔)
二、安裝配置
1、以管理員身份解壓Hadoop安裝包,
2、配置Hadoop環境變量,
我的電腦 --> 屬性 --> 高級系統設置 --> 高級 --> 環境變量,新建HADOOP_HOME,然后將%HADOOP_HOME%in添加到Path中。
3、新建data(下面建倆子文件夾namenode和datanode)和tmp目錄,
4、修改啟動類hadoop-env.cmd,
主要是設置JAVA_HOME的路徑,我的文件目錄在 E:Dev2hadoophadoop-2.6.0etchadoop,(這里注意一下:如果jdk路徑中有“Program Files”,則將Program Files改為 PROGRA~1,否則會報錯)
5、修改配置文件(core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml)
核心操作就在這四個配置文件上面了,(如果下載了hadooponwindows-master,解壓后可以直接覆蓋bin和etc目錄,然后只修改這四個文件夾中的路徑信息就可以了)
(1)core-site.xml
(2)hdfs-site.xml
(3)mapred-site.xml
(4)yarn-site.xml
6、啟動格式化HDFS
首先,hadoop version,查看是否能正常運行,
然后,執行hdfs namenode -format
格式化之后,namenode文件里會生成一個current文件,則格式化成功。
三、Hadoop啟動
在cmd中執行start-all.cmd命令,啟動Hadoop,路徑:E:Dev2hadoophadoop-2.6.0sbin。
運行成功后,會出現四個窗口,分別是:yarn-resourcemanager、yarn-nodemanager、hadoop-namenode、hadoop-datanode。
如上,則恭喜,啟動成功。
四、HDFS操作測試
安裝好了Hadoop環境,接下來我們就敲下hadoop命令,上傳幾個文件操作實戰一下。
1、創建目錄
hadoop fs -mkdir hdfs://localhost:9000/my/
hadoop fs -mkdir hdfs://localhost:9000/my/testinput
2、上傳文件
hadoop fs -put E: est01.txt hdfs://localhost:9000/my/testinput
hadoop fs -put E: est02.txt hdfs://localhost:9000/my/testinput
3、查詢文件
hadoop fs -ls hdfs://localhost:9000/my/testinput
查詢到我們剛剛上傳的文件啦,恭喜,測試成功。
五、管理頁面
Hadoop自帶了web UI管理頁面,
1、資源管理(localhost:8088)
2、節點管理(localhost:50070)
總體來說Hadoop在windows下的安裝還是比較簡單的,只要按部就班就可以了。
轉載于:https://baijiahao.baidu.com/s?id=1631225218387105313&wfr=spider&for=pc
總結
以上是生活随笔為你收集整理的windows下安装Hadoop,就是这么简单的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 13 相对引用于绝对引用
- 下一篇: 橘子origin游戏平台如何绑定登陆验证