2.1 Spark核心概念簡介

驅(qū)動(dòng)器程序通過一個(gè)SparkContext對(duì)象來訪問Spark。這個(gè)對(duì)象代表對(duì)計(jì)算集群的一個(gè)連接。shell啟動(dòng)時(shí)已經(jīng)創(chuàng)建了一個(gè)SparkContext對(duì)象，是一個(gè)叫做sc的變量。一旦有了SparkContext，你就可以用它來創(chuàng)建RDD。要執(zhí)行這些操作，驅(qū)動(dòng)器程序一般要管理多個(gè)執(zhí)行器（executor）節(jié)點(diǎn)。

?

2.2 Spark的獨(dú)立應(yīng)用

我們的Spark除了交互式運(yùn)行之外，Spark也可以在Java，Scala或Python的獨(dú)立程序中被連接使用。這與在shell中使用的主要區(qū)別在于你需要自行初始化SparkContext。

Java和Scala

在Java和Scala中，只需要給你的應(yīng)用添加一個(gè)對(duì)于spark-core工件的Maven依賴。Maven是一個(gè)流行的包管理工具，可以用于任何基于Java的語言，讓你可以連接公共倉庫中的程序庫。

Python

在Python中，你可以把應(yīng)用寫成Python腳本，但是需要使用Spark中的bin\spark-submit腳本來運(yùn)行。spark-submit腳本會(huì)幫我們引入Python程序的Spark依賴。這個(gè)腳本為Spark的PythonAPI配置好了運(yùn)行環(huán)境。

?

一旦完成了應(yīng)用于Spark的連接，接下來就需要在你的程序中導(dǎo)入Spark包并且創(chuàng)建SparkContext。你可以通過先創(chuàng)建一個(gè)SparkConf對(duì)象來配置你的應(yīng)用，然后基于這個(gè)SparkConf創(chuàng)建一個(gè)SparkContext對(duì)象。

1 from pyspark import SparkConf, SparkContext 2 conf = SparkConf().setMaster("local").setAppName("My App") 3 sc = SparkContext(conf = conf)

以上例子展示了創(chuàng)建SparkContext的最基本的方法，你只需要傳遞兩個(gè)參數(shù)：

集群url：告訴Spark如何連接到集群上，在上面的例子中使用的是local，這個(gè)特殊值可以讓Spark運(yùn)行在單機(jī)單線程上而無需連接到集群

應(yīng)用名：在例子猴子那個(gè)我們使用的是my app。當(dāng)連接到一個(gè)集群時(shí)，這個(gè)值可以幫助你在集群管理器的用戶界面中找到你的應(yīng)用。

?

關(guān)閉Spark：

stop() System.exit(0) sys.exit()

?

轉(zhuǎn)載于:https://www.cnblogs.com/cyoutetsu/p/6344414.html

總結(jié)

以上是生活随笔為你收集整理的（2）Spark下载与入门的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。