kylin2.1.0 + CHD5.7环境搭建
由于cloudera本身并沒有集成kylin的服務(wù),也并沒有kylin的 parcel包, 所以需要我們單獨(dú)配置kylin的集群環(huán)境,kylin的本身配置并不難,但是它需要依賴 HDFS,hive,hbase組件,所以在部署kylin之前,確認(rèn)其相關(guān)組件是否正常安裝。
軟件下載
http://mirrors.hust.edu.cn/apache/kylin/apache-kylin-2.1.0/apache-kylin-2.1.0-bin-cdh57.tar.gz
1. 解壓
tar -zxvf apache-kylin-2.1.0-bin-cdh57.tar.gz /opt
2. 添加環(huán)境變量(我習(xí)慣于在profile.d中設(shè)置環(huán)境變量,而不是直接編輯、etc/profile,個(gè)人感覺這種方式比較明了)
cd /etc/profile.d
touch kylin.sh
在kylin.sh中編輯一下內(nèi)容
KYLIN_HOME=/opt/apache-kylin-2.1.0-bin-cdh57
HCAT_HOME=/opt/cloudera/parcels/CDH-5.11.0-1.cdh5.11.0.p0.34/lib/hive-hcatalog
PATH=$KYLIN_HOME/bin:\$PATH ???#把 \ 去掉
export PATH KYLIN_HOME HCAT_HOME
使環(huán)境變量生效
source /etc/profile
3. 修改kylin的配置信息
cd /opt/apache-kylin-2.1.0-bin-cdh57/conf
vim kylin.properties
修改其中的配置
kylin.job.jar=/opt/apache-kylin-2.1.0-bin-cdh57/lib/kylin-job-2.1.0.jar
kylin.job.yarn.app.rest.check.status.url=http://10.20.20.4:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=10.20.20.4:7070,10.20.20.5:7070,10.20.20.6:7070,10.20.20.7:7070
kylin.metadata.url=kylin_metadata@hbase
kylin.server.model=query
kylin.hbase.cluster.fs=hdfs://10.20.20.4:8020
注意幾點(diǎn):
- http://10.20.20.4:8088 是hadoop job的URL地址
- kylin.rest.servers 指定的是kylin集群的地址,7070是默認(rèn)的端口
- 如果是集群模式,則在集群中只能指定一個(gè)主機(jī)的kylin.server.model = all(job), 其他的主機(jī)必須是 query
4. 環(huán)境檢查
cd ../bin
./check-env.sh
Retrieving hadoop conf dir…
KYLIN_HOME is set to /opt/apache-kylin-2.1.0-bin-cdh57
kylin會(huì)自動(dòng)在hdfs上創(chuàng)建kylin的目錄
5. 啟動(dòng)kylin
bin/kylin.sh start
6. 登錄kylin
http:// ip :7070/kylin ?# ip可以是集群中任意一個(gè)主機(jī)的ip地址,因?yàn)榧汗蚕硪粋€(gè)元數(shù)據(jù),所以不影響
默認(rèn)賬號(hào):ADMIN, 密碼:KYLIN
主界面如下
7.測試官方例子
ls /opt/apache-kylin-2.1.0-bin-cdh57/bin
運(yùn)行這個(gè)腳本文件
./sample.sh
Sample cube is created successfully in project ‘learn_kylin’.
看到這句話表明,例子已經(jīng)構(gòu)建成功,工程名為learn_kylin
此時(shí),再去kylin主界面上查看
有圖中標(biāo)記的model和cube即可,其他的是我自己用的。如果什么也沒有出現(xiàn),則按一下操作
即可完成cube和model的創(chuàng)建。
然后,還需要構(gòu)建cube,前面做的只是定義model和cube結(jié)構(gòu),build cube才是真正的實(shí)例化。
提交build成功后,可在monitor中查看進(jìn)度,build的時(shí)候和數(shù)據(jù)量,cube的維度等有關(guān)。可點(diǎn)擊刷新按鈕查看進(jìn)度,
右邊可現(xiàn)實(shí)構(gòu)建的具體步驟
成功,此時(shí),可對cube進(jìn)行sql查詢。
點(diǎn)擊insight,在輸入框內(nèi)輸入sql語句
select * from kylin_sales
提交。
完成!
在kylin部署的過程中,會(huì)遇到很多莫名的問題,現(xiàn)在具體的錯(cuò)誤,我當(dāng)時(shí)沒記錄,從以下幾個(gè)方面說明以下。
1. 如果遇到用戶權(quán)限問題,多半是當(dāng)前沒用沒有操作HDFS的權(quán)限,我們先查看HDFS上kylin目錄的擁有者和組
可以,看到kylin的用戶是hdfs,是超級(jí)管理員,就算是root用戶也沒有hdfs的權(quán)限。
解決辦法:
方法一,所以在進(jìn)行sample.sh的過程中,先登錄到hdfs用戶下,再進(jìn)行操作
su hdfs
方法二, 把kylin目錄的權(quán)限改為777
hdfs fs -chmod R 777 /kylin
2. 遇到報(bào)錯(cuò)時(shí),先去查看日志文件,
cd /opt/apache-kylin-2.1.0-bin-cdh57/log
cat kylin.log
總結(jié)
以上是生活随笔為你收集整理的kylin2.1.0 + CHD5.7环境搭建的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 如何对谷歌地图的火星坐标进行纠偏校正
- 下一篇: IIS调试程序