Hadoop源码导入Eclipse
需要進一步學習hadoop、需要看看內部源碼實現,因此需要將hadoop源碼導入都eclipse中,簡單總結一下,具體步驟如下:
首先確保已經安裝了git、maven3、protobuf2.5、如果沒有安裝需要提前安裝一下
1、下載hadoop源碼
git clone git://git.apache.org/hadoop-common.git
2、進入hadoop-common目錄,用maven生成eclipse工程
mvn install -DskipTests
mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true
3、導入Eclipse
導入Hadoop-Common
File->import...->Choose "Existing Projects into Workspace" 選擇hadoop-common-project目錄為跟目錄導入
File->import...->Choose "Existing Projects into Workspace" 選擇hadoop-assemblies目錄為跟目錄導入
導入HDFS
File->import...->Choose "Existing Projects into Workspace" 選擇hadoop-hdfs-project目錄為跟目錄導入
導入MapReduce
File->import...->Choose "Existing Projects into Workspace" 選擇hadoop-mapreduce-project目錄為跟目錄導入
導入YARN
File->import...->Choose "Existing Projects into Workspace" 選擇hadoop-yarn-project目錄為跟目錄導入
OK、全部導入成功,但是需要注意兩個地方:
首先如果想hadoop-common全部編譯成功,需要將hadoop-common的target/generate-test-source/java目錄設置source folder
其次還得把JDK lib目錄的tools.jar添加到classpath中。
配置好上面之后,所有代碼都清晰可見
總結
以上是生活随笔為你收集整理的Hadoop源码导入Eclipse的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MapReduce DataJoin 链
- 下一篇: Hadoop中Writable和Writ