关于在在hue当中执行shell脚本使用oozie调度,一直出现laucher异常退出。
生活随笔
收集整理的這篇文章主要介紹了
关于在在hue当中执行shell脚本使用oozie调度,一直出现laucher异常退出。
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1] Oozie Launcher failed, finishing Hadoop job gracefully Oozie Launcher, uploading action data to HDFS sequence file: hdfs://VM200-11:8020/user/admin/oozie-oozi/0000061-180912100001759-oozie-oozi-W/shell-03de--shell/action-data.seq Successfully reset security manager from org.apache.oozie.action.hadoop.LauncherSecurityManager@2b5b64a3 to null Oozie Launcher ends
這個就是出現的錯誤,然后在hue上面查看日志發現沒有錯誤信息,然后我又去yarn上面查看錯誤信息。發現也沒有。這怎么辦那。然后卡了幾天時間。在集群的命令行當中的shell腳本也是正常執行的不報錯。
然而今天突然之間看shell腳本發現自己寫的shell腳本中的for循環有問題。真的是醉了。
這個地方多寫了一個等于號,然后oozie在執行調度的時候他還會加載一次,然后又沒有相對應得表,然后就執行報錯了。真的是坑。
雖然問題解決了,但是在整個的過程當中還是收獲了很多東西。順便也總結一下碰到這種問題的時候的自己的一點見解。
(1)注意如果是shell的話一定要注意空格的問題。
(2)在執行的過程當中要注意權限問題。可以使用HADOOP_USER_NAME=${wf:user()} 讓oozie找到Hadoop集群上面的用戶。
(3)一定要添加這個文件絕對路徑來加載文件。
總結
以上是生活随笔為你收集整理的关于在在hue当中执行shell脚本使用oozie调度,一直出现laucher异常退出。的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Spring的meta标签
- 下一篇: 动态sql 返回返回值