2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

一、部署準(zhǔn)備

操作系統(tǒng)：Centos7.2

Hadoop版本：Apache Hadoop 2.6.4

Java版本：1.7.0_79

Eclipse版本：Mars

?

二、Eclipse開發(fā)環(huán)境設(shè)置

第一步、下載插件部署

hadoop2x-eclipse-plugin的github地址：
https://github.com/winghc/hadoop2x-eclipse-plugin

將hadoop-eclipse-plugin-2.6.0.jar置入$ECLIPSE_HOME/plugins/中，然后重啟eclipse。

第二步、配置環(huán)境變量HADOOP_HOME

進(jìn)入eclipse的windows菜單-->Hadoop Map/Reduce設(shè)置HADOOP_HOME

第三部、切換工作目錄?

切換工作目錄到Map/Reduce。

第四部、創(chuàng)建Location

在下方的的Map/Reduce Locations可以創(chuàng)建和修改HDFS Location的配置。

Location name：定義這個Location的名字，隨意取個。

Map/Reduce(V2) Master：

Host：Yarn的Resourcemanager IP Address(參數(shù)yarn.resourcemanager.hostname值)

Port：Yarn的Resourcemanager 端口(參數(shù)yarn.resourcemanager.address值的端口)

DFS Master：

Host：HDFS的namenode?IP Address(參數(shù)dfs.namenode.rpc-bind-host值)

Port：HDFS的namenode?端口(參數(shù)dfs.namenode.rpc-address值的端口)

?

左邊Project Explorer顯示DFS Locations-->breath.

可以直接次目錄樹進(jìn)行操作，如：創(chuàng)建目錄、刪除目錄、上傳文件、下載文件、查看文件、刷新。

第五部、創(chuàng)建MapReduce工程

File --> New --> Other --> Map/Reduce Project

創(chuàng)建的MapReduce工程已經(jīng)自帶執(zhí)行mapreduce所需的依賴。不需自己添加其他依賴。

?

?

轉(zhuǎn)載于:https://my.oschina.net/yulongblog/blog/738303

總結(jié)

以上是生活随笔為你收集整理的eclipse+MapReduce的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。