使用cloudera manager搭建HUE后的使用,包括Oozie
生活随笔
收集整理的這篇文章主要介紹了
使用cloudera manager搭建HUE后的使用,包括Oozie
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?
?
【小補充】
[root@cm1 ~]# cat /etc/passwd?
這些用戶并不是我們創建的,是有管理平臺創建的,當需要某一項服務時,使用某一用戶。
?
這里的賬戶密碼隨意:【看你心情,不過你要記住】
賬號:hdfs 密碼:hdfs
?
抱著你的好奇心,看看HUE給我們帶來的HDFS的文件瀏覽器
?
是不是比這hdfs的50070霸氣側漏了。哈哈
這里它的功能自行實驗。。。Easy
很強大,可以進行創建下載就不說了,還可以編輯。
【友情提示】創建后點擊文件即可!!!
?
【注】使用HUE訪問的hdfs文件盡量要小。
?
在點擊job Browser,類似yarn的8088
Oozie
Workflow 工作流
打個簡單的比方,假如公司讓你做一個數據清洗ETL,寫一個mapreduce任務,寫一個Spark任務,寫一個Hive。
整個流程,也就是我們需要使用到的oozie。
Oozie是群集中管理數據處理作業的工作流協調服務,
點擊創建
?
打個比方:并沒有細致寫任務:
所以我們可以把工作流比作有向無環圖。
前往Hive
由于還沒有任何表,所以創建一個表
查看元數據
導入數據:
自行導入數據,然后進行mapreduce任務的操作,寫一個觸發mapreduce任務的hql。
?
可以添加用戶
停止所有集群后,關機
總結
以上是生活随笔為你收集整理的使用cloudera manager搭建HUE后的使用,包括Oozie的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 利剑无意之JAVA面试题(三)
- 下一篇: Kafka的常见错误分析