說道大數(shù)據(jù)和機(jī)器學(xué)習(xí)，就少不了Spark.本文主要介紹在Linux下搭建單機(jī)環(huán)境的Spark的步驟。

安裝Java SE

1、下載JAVA SE linux版本。下載地址為：
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

注意選擇Linux版本，根據(jù)機(jī)器類型選擇32位或者64位。

2、下載jdk-8u131-linux-x64.tar.gz后，解壓到自己指定目錄。

$ tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/lib/java

3、配置JAVA環(huán)境變量。

打開.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下內(nèi)容：

export JAVA_HOME=/usr/lib/java/jdk1.8.0_131 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

保存后退出，運(yùn)行如下命令，使修改環(huán)境變量即可生效：

$ source ~/.bashrc

4、檢測java是否成功安裝。

$ java -version java version "1.8.0_131"

如果顯示了java安裝的版本，則表示已正確安裝，可以進(jìn)行下一步了。

安裝Scala

1、下載Scala的壓縮文件。下載地址為：
http://www.scala-lang.org/download/

2、下載scala-2.12.2.tgz后，解壓到指定的目錄：

$ tar -zxvf scala-2.12.2.tgz -C /opt/scala/

3、配置scala環(huán)境變量。

打開.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下內(nèi)容：

export SCALA_HOME=/opt/scala/scala-2.12.2 export PATH=${SCALA_HOME}/bin:$PATH

保存后退出，運(yùn)行如下命令，使修改環(huán)境變量即可生效：

$ source ~/.bashrc

4、檢測scala是否正確安裝。

$ scala -version Scala code runner version 2.12.2 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc

若顯示如上信息，則表示scala已安裝正確。

安裝Spark

1、下載Spark的壓縮文件。下載地址為：
http://spark.apache.org/downloads.html

2、下載spark-2.1.1-bin-hadoop2.7.tgz后，解壓到指定的目錄：

$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/spark/

3、配置scala環(huán)境變量。

打開.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下內(nèi)容：

export SPARK_HOME=/opt/spark/spark-2.1.1-bin-hadoop2.7 export PATH=${SPARK_HOME}/bin:$PATH

保存后退出，運(yùn)行如下命令，使修改環(huán)境變量即可生效：

$ source ~/.bashrc

4、檢測spark是否正確安裝。

$ spark-shell

如果出現(xiàn)如下界面，則表示spark已正確安裝：

安裝sbt

1、下載Spark的壓縮文件。下載地址為：
http://www.scala-sbt.org/download.html

2、下載sbt-0.13.15.tgz后，解壓到指定的目錄：

$ tar -zxvf sbt-0.13.15.tgz -C /opt/scala/sbt/

3、配置sbt環(huán)境變量。

打開.bashrc文件。

$ nano ~/.bashrc

在.bashrc文件末尾增加如下內(nèi)容：

export SBT_HOME=/opt/scala/sbt export PATH=${SBT_HOME}/bin:$PATH

保存后退出，運(yùn)行如下命令，使修改環(huán)境變量即可生效：

$ source ~/.bashrc

4、建立啟動(dòng)sbt的腳本。

$ mkdir /opt/scala/sbt/ $ cd /opt/scala/sbt/ $ touch sbt

腳本內(nèi)容如下，注意sbt-launch.jar的路徑

SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M" java $SBT_OPTS -jar /opt/scala/sbt/bin/sbt-launch.jar "$@"

修改sbt文件的權(quán)限

$ chmod u+x sbt

5、檢測sbt是否正確安裝。

$ sbt sbt-version [info] 0.13.15

第一次執(zhí)行的時(shí)候會(huì)下載很多東西，不用管它，后來就好了。
如果出現(xiàn)sbt的版本信息就表示安裝成功。

至此，Linux下Spark單機(jī)環(huán)境已經(jīng)成功搭建完畢！

總結(jié)

以上是生活随笔為你收集整理的Ubuntu 16.04 Spark单机环境搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。