java引用hive高可用连接hive_Hiveserver2高可用实现
在生產環境中使用Hive,強烈建議使用HiveServer2來提供服務,好處有:
在應用端不用部署Hadoop和Hive客戶端;
相比hive-cli方式,HiveServer2不用直接將HDFS和Metastore暴漏給用戶;
有安全認證機制,并且支持自定義權限校驗;
有HA機制,解決應用端的并發和負載均衡問題
JDBC方式,可以使用任何語言,方便與應用進行數據交互;
從2.0開始,HiveServer2提供了WEB UI。
Hive從0.14開始,使用Zookeeper實現了HiveServer2的HA功能(ZooKeeperService Discovery),Client端可以通過指定一個nameSpace來連接HiveServer2,而不是指定某一個host和port。
1. hive-site.xml添加配置
hive.server2.support.dynamic.service.discovery
true
hive.server2.zookeeper.namespace
hiveserver2_zk
hive.zookeeper.quorum
zkNode1:2181,zkNode2:2181,zkNode3:2181
hive.zookeeper.client.port
2181
hive.server2.thrift.bind.host
0.0.0.0
hive.server2.thrift.port
10001
總結
以上是生活随笔為你收集整理的java引用hive高可用连接hive_Hiveserver2高可用实现的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 掌上生活是哪个银行的
- 下一篇: 正太头先祖在哪