基于Maven管理的Mapreduce程序下载依赖包到LIB目录
生活随笔
收集整理的這篇文章主要介紹了
基于Maven管理的Mapreduce程序下载依赖包到LIB目录
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1、Mapreduce程序需要打包作為作業提交到Hadoop集群環境運行,但是程序中有相關的依賴包,如果沒有一起打包,會出現xxxxClass Not Found .?
2、在pom.xml文件<dependencies>標簽同級目錄添加<build>標簽。
<!-- 將依賴lib包導出 --><build><plugins><!-- 設置源文件編碼方式 --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><configuration><defaultLibBundleDir>lib</defaultLibBundleDir><source>1.6</source><target>1.6</target><encoding>UTF-8</encoding></configuration></plugin><!-- 拷貝依賴的jar包到lib目錄 --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-dependency-plugin</artifactId><executions><execution><id>copy</id><phase>package</phase><goals><goal>copy-dependencies</goal></goals> <configuration><outputDirectory>lib</outputDirectory></configuration></execution></executions></plugin><!-- 解決資源文件的編碼問題 --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-resources-plugin</artifactId><version>2.4</version><configuration><encoding>UTF-8</encoding></configuration></plugin></plugins> </build>3、在工程根目錄下新建lib目錄,依賴的第三方包都會從Maven倉庫中心下載到lib目錄中,對于Mapreduce程序來說的一個好處就是:工程打包為jar文件后,提交到Hadoop集群,Hadoop集群環境會自動讀取lib目錄中的jar文件,加載到作業運行環境中。
轉載于:https://www.cnblogs.com/tmeily/p/4504420.html
總結
以上是生活随笔為你收集整理的基于Maven管理的Mapreduce程序下载依赖包到LIB目录的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MongoDB创建索引
- 下一篇: fenby C语言 P20