def getSparkSession(sparkConf:SparkConf):SparkSession = {val sparkSession: SparkSession = SparkSession.builder().config(sparkConf)//調(diào)度模式.config("spark.scheduler.mode", "FAIR").config("spark.executor.memoryOverhead", "512")//堆外內(nèi)存.config("enableSendEmailOnTaskFail", "true")// .enableHiveSupport() //開啟支持hive.getOrCreate()sparkSession.sparkContext.setLocalProperty("spark.scheduler.pool", "n1")sparkSession}

總結(jié)

以上是生活随笔為你收集整理的sparkSession常见参数设置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。