問(wèn)題描述：
在部署hive on spark，測(cè)試時(shí)報(bào)錯(cuò)，執(zhí)行建表操作成功，但是插入insert出現(xiàn)以下錯(cuò)誤：

Failed to execute spark task, with exception ‘org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 2df0eb9a-15b4-4d81-aea1-24b12094bf44)’
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 2df0eb9a-15b4-4d81-aea1-24b12094bf44

查資料主要列舉了以下三點(diǎn)原因：

Spark沒(méi)有啟動(dòng)；
需在/opt/module/spark路徑下輸入以下內(nèi)容啟動(dòng)spark：

[xiaobai@hadoop102 spark]$ ./sbin/start-all.sh

Spark和hive版本不匹配，我的是匹配的；

內(nèi)存資源不足，導(dǎo)致hive連接spark客戶端超時(shí)。

原因分析
在/tmp/xiaobai路徑下按照所需時(shí)間查看hive日志：

提示timed out waiting for client connection.表明hive與spark連接時(shí)間超時(shí)！

解決方法
1). 將/opt/module/spark/conf/目錄下spark-env.sh.template文件改成spark-env.sh，之后添加內(nèi)容export SPARK_DIST_CLASSPATH=$(hadoop classpath)；
2). 將/opt/module/hive/conf目錄下hive-site.xml修改hive和spark的連接時(shí)間。

再次執(zhí)行insert語(yǔ)句，成功！喜極而泣！

我是昨天晚上就出錯(cuò)的 查了一晚上也沒(méi)解決 結(jié)果今天才解決 不說(shuō)了 解決另一個(gè)bug去了😭

總結(jié)

以上是生活随笔為你收集整理的记录hiveonspark:Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。