1、系統(tǒng)及環(huán)境版本

系統(tǒng)：Win7 旗艦版 64位 sp1

JDK：1.8.0

Spark：2.3.2

Hadoop：2.7

Scala：2.11.8

文章最后，有所有版本的下載鏈接，不用再去折騰版本之間的問題。

2、環(huán)境下載

2.1 Spark 下載

spark

2.2 hadooponwindos 下載

image.png

2.3 Hadoop 下載

image.png

2.4 JDK下載

略

2.5 IntelliJ IDEA

2.6 scala 下載

2.7 IntelliJ-scala plug 下載

image.png

至此，準(zhǔn)備工作才算完成！

3、環(huán)境配置

安裝ideaIC-2017.3.5.exe。

除了scala-intelliJ-bin-2017.3.15不需要解壓外，其他能解壓的都需要解壓。

重要：配置之前，需要把2.2中的bin文件夾替換掉2.3中的bin文件夾

重要：配置之前，需要把2.2中的bin文件夾替換掉2.3中的bin文件夾

重要：配置之前，需要把2.2中的bin文件夾替換掉2.3中的bin文件夾

重要的事說三遍！

3.1 JAVA環(huán)境配置：

JAVA_HOME:java所在的目錄，注意不是bin目錄

PATH:%JAVA_HOME%\bin

ClassPath：%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

3.2 Hadoop環(huán)境配置

HADOOP_HOME:hadoop解壓的目錄

Path:%HADOOP_HOME%\bin

3.3 Spark環(huán)境配置

SPARK_HOME:spark解壓的目錄

Path:%SPARK_HOME%\bin

3.4 Scala環(huán)境配置

SCALA_HOME:scala解壓的目錄

Path:%SCALA_HOME%\bin

4、IDE的配置

4.1創(chuàng)建新項目

image.png

4.2 選擇Project SDK

選擇剛才解壓的JAVA目錄

image.png

next>next>finesh!

此時可以看到 external library只有一個jdk1.8

image.png

4.3 安裝scala插件

file>settings

image.png

image.png

4.4 重啟IntelliJ

重啟之后：

image.png

image.png

選擇scala的解壓的目錄，我原來裝過一個2.11.12版本的，所以，我這里會有兩個版本，應(yīng)該選擇2.11.8版本。

4.5 添加spark library

此時，新建項目之后可以看到，external libraryes 出現(xiàn)了 jdk1.8 和scala sdk。

我們最后再添加spark library

file>project structure

image.png

Libraries > +

之后添加解壓后的spark下的jars

image.png

最終可以看到External Libraries出現(xiàn)了三個。

image.png

4.6 建一個Sparkdemo 的object

image.png

import org.apache.spark._

object SparkDemo {

def main(args: Array[String]): Unit = {

val masterUrl = "local[1]"

val conf = new SparkConf().setAppName("helenApp").setMaster(masterUrl)

val sc = new SparkContext(conf)

val rdd = sc.parallelize(List(1, 2, 3, 4, 5, 6)).map(_ * 3)

rdd.filter(_ > 10).collect().foreach(println)

println(rdd.reduce(_ + _))

println("hello world")

}

}

4.7 ctrl+shift+F10運行！

最終，成功！

image.png

由于是小白，所以記錄得很詳細。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的spark环境搭建java_Spark MLlib 环境搭建超详细教程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。