spark編譯的坑并不多，最早編譯時spark1.2的版本是2015年的事情了，現在spark迭代更新到2.3版本了，架構和功能變化可謂很多。于是今天重新編譯下源碼，記錄下編譯的過程。

本次編譯過程是在win10版本，jdk版本為1.8，scala版本為2.11，maven版本為3.2.

1、首先git?clone github的spark源碼到本地。

https://github.com/apache/spark

然后直接輸編譯命令：

編譯的時候出現如下錯誤：

Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1

一般是maven的插件問題引起，網上一搜一堆解決方案。方法如下：

pom中如下配置maven插件，配置中聲明使用JDK1.8：

這里的${JAVA8_HOME}這個變量是在settings.xml中配置的，如下：

?

當然這里應該需要激活，所以settings.xml文件還應該有如下配置：

?

同時maven的鏡像源修改為阿里的鏡像：

然后重新編譯， 編譯成功，如圖：

?

轉載于:https://www.cnblogs.com/hd-zg/p/8797131.html

總結

以上是生活随笔為你收集整理的spark源码编译的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。