在工作中遇到向Spark集群提交多個任務，并且這些任務是需要同時執行的。但是遇到很多錯誤，所以把遇到的問題記錄下來。

修改hadoop/etc/hadoop/yarn-site.xml文件
需要添加的配置

<property> <name>yarn.nodemanager.aux-services.spark_shuffle.class</name> <value>org.apache.spark.network.yarn.YarnShuffleService</value> </property> <property><name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property> <property><name>yarn.scheduler.fair.allocation.file</name><value>/usr/local/spark/conf/fairscheduler.xml</value> </property>

總結

以上是生活随笔為你收集整理的Spark on Yarn集群多Application并行执行的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。