关于在hue当中调shell脚本的操作(这里的shell 脚本是在shell脚本当中嵌套shell脚本的操作使用source的方式)...
生活随笔
收集整理的這篇文章主要介紹了
关于在hue当中调shell脚本的操作(这里的shell 脚本是在shell脚本当中嵌套shell脚本的操作使用source的方式)...
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
這兩天在做數據的導入操作,為了方便數據的導入我們采用sqoop的方式將數據導入。但是在表很多的情況下,在hue當中部署工作流就是一件很麻煩的事情,
然后想著能不能通過shell腳本調shell腳本的方式實現在一個shell腳本當中就可以實現對多個導入操作腳本的調用。
操作腳本如下:
#!/bin/bash #sh ./import_com_organization.sh source ./import_com_organization.sh #. ./import_com_organization.sh echo "success" exit 0這三種方式都可以實現對數據的導入操作,我這里是使用oozie的方式實現對腳本的調度操作。下面這個是sqoop的導入腳本,這個可以自己按照自己的要求去編寫
?
這里需要注意幾個問題,在這里被調用的腳本必須和住腳本的路徑一直。要不然一直報找不到路徑,類似下面的這種找不到路徑。這里我試了一下使用決絕路徑都是不可以的,一直報路徑或者文件存在。這設計真是不合理兩個文件還必須在同一目錄下面。
?
?下面說一下這種腳本在hue當中部署oozie的具體操作;
(1)將寫好的腳本主腳本和被調用的腳本上傳到同一目錄下:
?
(2)然后部署工作流
?
?接下來在yarn上面我們能看到oozie啟動的laucher和action操作。
?
?
?等待執行完成之后。查看結果即可。
參考文檔:?https://blog.csdn.net/adshiye/article/details/84311890
?
轉載于:https://www.cnblogs.com/gxgd/p/10221303.html
總結
以上是生活随笔為你收集整理的关于在hue当中调shell脚本的操作(这里的shell 脚本是在shell脚本当中嵌套shell脚本的操作使用source的方式)...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 稻花香跟稻花香2号有什么区别?
- 下一篇: 芒果千层多少钱一个?