kylin linux 安装教程,新手入门必备:kylin安装教程介绍!
1. 背景
最近在學(xué)習(xí)kylin,在安裝的時(shí)候遇到一些坑,特意記錄起來,也希望同樣在學(xué)習(xí)kylin的人,少踩一些坑(要是連安裝都過不去,還怎么學(xué)!!!)。
2. 環(huán)境
我選的kylin版本是1.5.4,因?yàn)橘I了一本叫《Apache kylin權(quán)威指南》,書中以1.5.x為藍(lán)本,為了避免少踩坑,保持和書中版本一致。
關(guān)于kylin安裝環(huán)境,參考
,下面是我自己的環(huán)境,只是為了學(xué)習(xí),所有的安裝都是偽分布式的,也沒有關(guān)注高可用
Ubuntu 14.04.5 LTS
hadoop-2.7.1.tar.gz
jdk-8u172-linux-x64.tar.gz
hbase-1.2.5-bin.tar.gz
apache-kylin-1.5.4-HBase1.x-bin.tar.gz
apache-hive-1.2.1-bin.tar.gz
特別注意點(diǎn)
:
kylin的版本要和hbase的版本對(duì)應(yīng),具體參考官網(wǎng)說明(
),其實(shí)kylin打包的名字也能看出來
注意hadoop和hbase的版本(
)
jdk和hbase的版本(
)
hive和jdk版本(
)
最好在linux環(huán)境下安裝,在mac下,啟動(dòng)kylin的時(shí)候,腳本會(huì)報(bào)錯(cuò),當(dāng)然可以改腳本 (
)。此外,在Ubuntu下安裝也不省心,啟動(dòng)kylin也會(huì)報(bào)錯(cuò),改腳本吧。那么,最好使用centos,我嘗試了,不會(huì)報(bào)錯(cuò)。
3. 安裝
下載安裝包,這個(gè)鏈接可以下載到apache所有的安裝包,但速度不快,有些找不到的安裝包,可以在這里下載(
),解壓
設(shè)置環(huán)境變量
export?JAVA_HOME=/root/jdk1.8.0_172
export?HADOOP_HOME=/root/hadoop-2.7.1
export?HIVE_HOME=/root/hive-1.2.1
export?HBASE_HOME=/root/hbase-1.2.5
export?KYLIN_HOME=/root/kylin-1.5.4
export?PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$KYLIN_HOME/bin
安裝hadoop,主要編輯的文件有:core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml(都在$HADOOP_HOME/etc/hadoop目錄內(nèi))(
)
然后,format namenode
bin/hdfs namenode -format
,啟動(dòng)hdfs
sbin/start-dfs.sh
,啟動(dòng)yarn
sbin/start-yarn.sh
,
可以查namenode的情況,
可以查看resourcemanager情況ssh to localhost without a passphrase, execute the following commands
$?ssh-keygen?-t?rsa?-P?''?-f?~/.ssh/id_rsa
$?cat?~/.ssh/id_rsa.pub?>>?~/.ssh/authorized_keys
$?chmod?0600?~/.ssh/authorized_keys
hadoop-env.sh,加一行JAVA_HOME
export?JAVA_HOME=/root/jdk1.8.0_172
core.xml
fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/root/tmp
hdfs-site.xml
dfs.replication
1
mapred-site.xml:jobhistory記得也要配置,我之前沒有配置,導(dǎo)致使用kylin的sampldata構(gòu)建cube失敗
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
localhost:10020
mapreduce.jobhistory.webapp.address
localhost:19888
yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
安裝hive:主要編輯的文件為hive-site.xml,此文件通過copy hive-default.xml.template而來(
)
在hdfs上面創(chuàng)建目錄
$?$HADOOP_HOME/bin/hadoop?fs?-mkdir???????/tmp
$?$HADOOP_HOME/bin/hadoop?fs?-mkdir???????/user/hive/warehouse
$?$HADOOP_HOME/bin/hadoop?fs?-chmod?g+w???/tmp
$?$HADOOP_HOME/bin/hadoop?fs?-chmod?g+w???/user/hive/warehouse
修改hive-site.xml,主要改的地方為
javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
hive
javax.jdo.option.ConnectionPassword
hive
上面就是使用mysql存儲(chǔ)hive的元數(shù)據(jù),如果出現(xiàn)SSL問題,就把useSSL置為false,
特別注意,不要使用默認(rèn)的derby,否則在運(yùn)行kylin的sampledata時(shí),無法在hive中創(chuàng)建表
,此外,還需要把hive-site.xml中的
s
y
s
t
e
m
:
j
a
v
a
.
i
o
.
t
m
p
d
i
r
和
system:java.io.tmpdir和
{system:user.name}分別替換成/tmp和${user.name},當(dāng)然還需要把mysql-connector-java.x.jar二方包加入hive的lib目錄中,
特別注意,使用5.x版本,不要使用6.x版本
。最后,運(yùn)行
bin/hive
安裝hbase:主要修改的文件為hbase-env.sh、hbase-site.xml(
)
修改hbase-env.sh,添加
export JAVA_HOME=/root/jdk1.8.0_172
修改hbase-site.xml
hbase.rootdir
hdfs://localhost:9000/hbase
hbase.cluster.distributed
true
hbase.zookeeper.property.dataDir
/root/tmp/hbase/zookeeper
特別注意,對(duì)于偽分布式安裝,hbase.cluster.distributed要設(shè)置為true。此外,這里使用hbase內(nèi)置的zookeeper。
最后,執(zhí)行bin/satrt-hbase.sh,啟動(dòng)hbase
安裝kylin
修改check-env.sh:可以先執(zhí)行
bin/check-env.sh
,一般來說配置了上面所述的環(huán)境變量,是可以通過check,但是這個(gè)腳本在mac和ubuntu下執(zhí)行還是有問題,mac下的問題我沒有解決,Ubuntu下面問題解了。原因是
get-properties.sh
內(nèi)容在Ubuntu下執(zhí)行有問題。不過在centos下沒有這個(gè)問題(
)
##?原始文件
if?[?$#?!=?1?]
then
echo?'invalid?input'
exit?-1
fi
IFS=$'\n'
result=
for?i?in?`cat?${KYLIN_HOME}/conf/kylin.properties?|?grep?-w?"^$1"?|?grep?-v?'^#'?|?awk?-F=?'{?n?=?index($0,"=");?print?substr($0,n+1)}'?|?cut?-c?1-`
do
:
result=$i
done
echo?$result
##?修改后的文件
if?[?$#?!=?1?]
then
echo?'invalid?input'
exit?-1
fi
#IFS=$'\n'
result=`cat?${KYLIN_HOME}/conf/kylin.properties?|?grep?-w?"^$1"?|?grep?-v?'^#'?|?awk?-F=?'{?n?=?index($0,"=");?print?substr($0,n+1)}'?|?cut?-c?1-`
#for?i?in?`cat?${KYLIN_HOME}/conf/kylin.properties?|?grep?-w?"^$1"?|?grep?-v?'^#'?|?awk?-F=?'{?n?=?index($0,"=");?print?substr($0,n+1)}'?|?cut?-c?1-`
#do
#???:
#???result=$i
#done
echo?$result
我目前使用的是apache-kylin-1.5.4-HBase1.x-bin.tar.gz版本,此版本在conf目錄下,把壓縮相關(guān)的配置注釋了,包括kylin_hive_conf.xml、kylin_job_conf_inmem.xml、 kylin_job_conf.xml、kylin.properties,我之前用1.5.3并沒有注釋掉,導(dǎo)致在運(yùn)行構(gòu)建cube是出現(xiàn)snappy不存在問題。
#?Compression?codec?for?htable,?valid?value?[none,?snappy,?lzo,?gzip,?lz4]
#?1.5.3默認(rèn)未snappy,但是我使用的hadoop的并沒有snappy壓縮功能,所以要么把壓縮相關(guān)的配置注釋掉,或者重新打包hadoop
kylin.hbase.default.compression.codec=none
之后,運(yùn)行
bin/kylin.sh satrt
,啟動(dòng)成功后,訪問
,用戶名是ADMIN,密碼是KYLIN。然后可以運(yùn)行
bin/sample.sh
,體驗(yàn)下kylin,運(yùn)行完
sample.sh
后重啟kylin,就可以build cube了。
3. 其他
最好使用linux
build cube出現(xiàn)
Unexpected exception: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support.
【本文來源于云棲社區(qū),原文鏈接:,作者:
徐潔陽
】
總結(jié)
以上是生活随笔為你收集整理的kylin linux 安装教程,新手入门必备:kylin安装教程介绍!的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 缓解俄乌冲突是由世界上哪个最大的国际组织
- 下一篇: 英国传教士傅兰雅给曾国藩的礼物是什么