SparkContext: Error initializing SparkContext解決方法

Spark在配置高可用集群中，出現(xiàn)報(bào)錯(cuò)
ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectException: Connection refused;

這是因?yàn)槲覀兣渲昧薙park日志存儲(chǔ)在HDFS中，但是在開啟Spark集群后，卻沒有打開Hadoop，造成提交任務(wù)時(shí)報(bào)錯(cuò)。

解決方案：

不再存儲(chǔ)事件日志
找到Spark安裝目錄/conf/spark-defaults.conf文件，如圖所示，注釋掉相應(yīng)事件日志部分

將事件日志存在本地，而非HDFS中
將上圖中第二行的目錄替換為Linux本地目錄

啟動(dòng)Hadoop集群（即HDFS服務(wù)）
究其出錯(cuò)原因，還是我們配置了spark日志存儲(chǔ)于HDFS中，但是缺沒有打開HDFS，所以開啟Hadoop集群即可

總結(jié)

以上是生活随笔為你收集整理的SparkContext: Error initializing SparkContext解决方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。