Sqoop导入导出的时候总是出现等待5分钟的问题解决办法
生活随笔
收集整理的這篇文章主要介紹了
Sqoop导入导出的时候总是出现等待5分钟的问题解决办法
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
25.25.27 Sqoop導入導出的時候總是出現等待5分鐘的問題解決辦法:
HDP3.1 中的 YARN 的 timeline server 默認使用內置的 HBase,不知道為什么,總是過幾天就掛掉,暫時還沒找到原因。后來想著讓它使用外部的 HBase 看看會不會還有此問題。配置如下:
前提: Ambari 中已經裝好 YARN 和 HBase 了。
(1) 把 YARN 的配置頁中 Advanced yarn-hbase-env 部分里的下面三個值改成 HBase 配置頁里相應的值。然后重啟 YARN 的服務。
(2) 登陸到某臺機器,執行下面的命令,創建需要的表。
export HBASE_CLASSPATH_PREFIX={hdp-dir}/hadoop-yarn/timelineservice/*{hdp-dir}/hbase/bin/hbase org.apache.hadoop.yarn.server.timelineservice.storage.TimelineSchemaCreator -Dhbase.client.retries.number=35 -create -s上面{hdp-dir} 是HDP 安裝的目錄,我的是 /usr/hdp/3.1.4.0-315
筆者的執行語句如下:
export HBASE_CLASSPATH_PREFIX=/usr/hdp/3.1.4.0-315/hadoop-yarn/timelineservice/* /usr/hdp/3.1.4.0-315/hbase/bin/hbase org.apache.hadoop.yarn.server.timelineservice.storage.TimelineSchemaCreator -Dhbase.client.retries.number=35 -create -s(3) 登陸 HBase shell,給 yarn 用戶賦權限。
grant 'yarn', 'RWXCA' (筆者沒有設置)轉載于:https://www.cnblogs.com/langfanyun/p/10821415.html
總結
以上是生活随笔為你收集整理的Sqoop导入导出的时候总是出现等待5分钟的问题解决办法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 53_Auto-Encoders和Var
- 下一篇: 雄伟的地下军队第4自然段写什么?