spark on yarn 日志無法正常顯示

是因?yàn)槲覀冊(cè)谶\(yùn)行spark任務(wù)后，默認(rèn)是由AM進(jìn)行歷史任務(wù)匯聚，拼接的URL是job history的鏈接，但是spark里面>是drive負(fù)責(zé)匯聚，需要通過spark history進(jìn)行收集后才能查看。

下面給出配置方式

1. 修改spark-defaults.conf

添加以下內(nèi)容

spark.eventLog.enabled true spark.eventLog.compress true spark.eventLog.dir hdfs:///user/log/spark spark.yarn.historyServer.address park-host:18080

spark.eventLog.dir 配置日志存放地址，可以是file開頭的本地或者是hdfs開頭的hadoop目錄，但是要提前創(chuàng)建對(duì)應(yīng)目錄

spark.yarn.historyServer.address 是要在spark 所在服務(wù)器上啟動(dòng)的history服務(wù)器的配置

2. 修改sparn-env.sh

添加

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:///user/log/spark"

3. 啟動(dòng)Spark History Server

/usr/local/spark/sbin/start-history-server.sh

4. 訪問測(cè)試

總結(jié)

以上是生活随笔為你收集整理的spark-on-yarn日志配置的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。