一、Spark概述
????Spark 是一個(gè)用來(lái)實(shí)現(xiàn)快速而通用的集群計(jì)算的平臺(tái)。

????在速度方面，Spark 擴(kuò)展了廣泛使用的 MapReduce 計(jì)算模型，而且高效地支持更多計(jì)算模式，包括交互式查詢和流處理。 在處理大規(guī)模數(shù)據(jù)集時(shí)，速度是非常重要的。速度快就意味著我們可以進(jìn)行交互式的數(shù)據(jù)操作，否則我們每次操作就需要等待數(shù)分鐘甚至數(shù)小時(shí)。

????Spark 的一個(gè)主要特點(diǎn)就是能夠在內(nèi)存中進(jìn)行計(jì)算，因而更快。不過(guò)即使是必須在磁盤上進(jìn)行的復(fù)雜計(jì)算，Spark 依然比 MapReduce 更加高效。
　Spark 5個(gè)核心庫(kù)

　　1.內(nèi)核： spark 的核心基礎(chǔ)設(shè)施，提供了表示和存儲(chǔ)數(shù)據(jù)的原始數(shù)據(jù)類型，稱為 RDD(Resilient Distributed Dataset, 彈性分布式數(shù)據(jù)集）

　　2.SQL

　　3. MLlib(Machine Learning Library, 機(jī)器學(xué)習(xí)庫(kù)）

　　4. GraphX: 供圖和圖相關(guān)的計(jì)算使用

　　5.流（Streaming)?

二、安裝步驟

1. 安裝JDK環(huán)境

下載JDK安裝包，配置JDK環(huán)境

?

2.安裝SCALA

1).下載scala，我這里下載的是scala-2.12.2.tgz，并上傳到linux服務(wù)器?

2).新建scala目錄：/usr/local/scala?

3).將scala-2.12.2.tgz復(fù)制到：/usr/local/scala，并解壓縮?

4).在/etc/profile文件中添加：?
? SCALA_HOME=/usr/local/scala/scala-2.12.2?
? PATH=$PATH:${SCALA_HOME}/bin?

5).輸入source /etc/profile 使profile文件生效?

6).輸入scala，查看scala是否生效?

?

3.安裝Spark?
1).下載Spark，我這里下載的是spark-2.3.1-bin-hadoop2.7.tgz?

2).新建spark目錄：/usr/local/spark?

3).將spark-2.3.1-bin-hadoop2.7.tgz復(fù)制到：/usr/local/spark，并解壓縮?

4).在/etc/profile文件中添加：?
? SPARK_HOME=/usr/local/spark/spark-2.3.1-bin-hadoop2.7?
? PATH=$PATH:${SPARK_HOME}/bin?

5).輸入source /etc/profile 使profile文件生效?

6).修改spark配置?
? 進(jìn)入spark-2.3.1-bin-hadoop2.4/conf?
? 復(fù)制模板文件：?
? cp spark-env.sh.template spark-env.sh?
? cp slaves.template slaves?

7).編輯spark-env.sh，添加：?
? export JAVA_HOME=/usr/local/java/jdk1.8.0_131?
? export SCALA_HOME=SCALA_HOME=/usr/local/scala/scala-2.12.2?
? export SPARK_MASTER_IP=172.20.0.204?
? export SPARK_WORKER_MEMORY=1g?
? export HADOOP_CONF_DIR=/usr/local/spark/spark-2.3.1-bin-hadoop2.7?

8).輸入source spark-env.sh，使spark-env.sh文件生效?

9).試一下spark是否安裝成功?

?

統(tǒng)計(jì)一下README.md文件中的單詞個(gè)數(shù)

?

Reference:

[1]:https://margaret0071.iteye.com/blog/2384805

轉(zhuǎn)載于:https://www.cnblogs.com/hoojjack/p/10160663.html

總結(jié)

以上是生活随笔為你收集整理的Centos6.8 安装spark-2.3.1 以及 scala-2.12.2的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。