How-to: Use the ShareLib in Apache Oozie
http://blog.sina.com.cn/s/blog_63874ea80102ux2z.html
1.???????????????????????????????? 從網上下載oozie安裝包,下載路徑為http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.0.1.tar.gz,上傳文件到服務器,例如上傳到/home/hadoop/local目錄下
2.???????????????????????????????? 進入/home/hadoop/local目錄,運行 tar oozie-4.0.0-cdh5.0.1.tar.gz命令,解壓文件
3.???????????????????????????????? 進入oozie程序根目錄下的bin目錄,依次運行以下命令:
./addtowar.sh -inputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie.war -outputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-server/webapps/oozie.war -hadoop 2.3.0 ${HADOOP_HOME} -extjs /home/hadoop/local/oozie-4.0.0-cdh5.0.1/ext-2.2.zip
?
./ooziedb.sh create -sqlfile oozie.sql
?
./oozie-setup.sh db create -run –sqlfile /home/hadoop/local/oozie-4.0.0-cdh5.0.1/bin/oozie.sql
?
./oozie-setup.sh sharelib create -fs hdfs://master:8020 -locallib /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-sharelib-4.0.0-cdh5.0.1-yarn.tar.gz
4.???????????????????????????????? 進oozie程序根目錄下的conf目錄,修改oozie-site.xml文件,主要是兩個屬性需要修改,1)oozie.services屬性,將oozie.services屬性值中org.apache.oozie.service.JobsConcurrencyService類的次序調致第一個。
2) oozie.service.HadoopAccessorService.hadoop.configurations 屬性,將其值調整為 *=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop
5.進入bin目錄下,執行./oozie-start.sh 致些,oozie啟動成功
6.安裝的過程中主要的問題在于sharelib包無法加載的問題,這個問題的處理方法如下:
1)檢測sharelib包是否已經加入到hadoop文件系統中,執行hadoop fs –ls /user/Hadoop/share/lib 查看sharelib包是否存在
2)檢查 oozie 與 Hadoop 的對接配置是否正確,主要是檢查上面第四步中的oozie.service.HadoopAccessorService.hadoop.configurations 屬性,其值為 *=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop,其值所指向的目錄是否是hadoop的配置文件目錄,如果沒有配置正常,則會報/user/Hadoop/share/lib文件找不到錯誤
3)檢查oozie.services屬性是否確置正常,主要是org.apache.oozie.service.JobsConcurrencyService類的次序是否已調致第一個,如果沒有,則會報在oozie的后臺目錄中會報NullPointerException錯誤。
7.修改/etc/hadoop/mapred-site.xml?增加以下內容
?yarn.app.mapreduce.am.staging-dir
?/user
??????/etc/hadoop/yarn-site.xml
將配置注釋掉
?
8. 在hdfs上創建/user/history
=============== http://mirrors.hust.edu.cn/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz
總結
以上是生活随笔為你收集整理的How-to: Use the ShareLib in Apache Oozie的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: org.eclipse.jdt.inte
- 下一篇: maven2中snapshot快照库和r