在Docker启动Cloudera并开始体验
生活随笔
收集整理的這篇文章主要介紹了
在Docker启动Cloudera并开始体验
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
開始之前
- 最新版Docker
- 給Docker分配4GB內存
- Docker可用的磁盤空間10GB
使用Docker可以快速體驗CDH,并且依據localhost提供的案例,可以體驗CDH在Sqoop,HDFS,Hive,Impala,Spark,Search方面的應用。安裝預計耗時15分鐘左右,體驗上訴各種場景在2小時左右。
第一部分:安裝CDH
1. 從Cloudera下載docker鏡像
2. 解壓縮之后導入
docker import cloudera-quickstart-vm-5.13.0-0-beta-docker.tar3. 啟動容器
docker run --hostname=quickstart.cloudera --privileged=true -t -i -d -p 8888:8888 -p 80:80 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8020:8020 [containerid] /usr/bin/docker-quickstart?
第二部分:使用Sqoop從Mysql導入表,并使用impala進行SQL查詢
1. 進入服務器
docker exec -t -i [container name] /bin/bash2. 切換到cloudera用戶
su - cloudera3. 導入測試數據
[cloudera@quickstart ~]$ sqoop import-all-tables \-m 1 \--connect jdbc:mysql://quickstart:3306/retail_db \--username=retail_dba \--password=cloudera \--compression-codec=snappy \--as-parquetfile \--warehouse-dir=/user/hive/warehouse \--hive-import4. 訪問http://localhost:8888,打開hue,賬號密碼都是cloudera
?
5. 刷新impala緩存
invalidate metadata;6. hue界面中執行SQL查詢
其他應用場景可以參考http://localhost進行體驗,后續還包含search應用,spark體驗等。
說明:docker版本默認不啟動clouder-manager,如果需要啟動,將docker的內存分配到8GB,然后進入cdh的容器中,執行/home/cloudera/cloudera-manager –express,之后可以通過瀏覽器訪問localhost:7180查看到Cloudera-manager
總結
以上是生活随笔為你收集整理的在Docker启动Cloudera并开始体验的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 使用 TOGAF 9.1 框架與 Arc
- 下一篇: 总结:详细讲解MapReduce过程(整