基于Kubernetes的Spark部署完全指南

【編者的話】本文是在Kubernets上搭建Spark集群的操作指南，同時提供了Spark測試任務及相關(guān)的測試數(shù)據(jù)，通過閱讀本文，你可以實踐從制作Spark鏡像、搭建Spark容器集群，到在集群上運行測試任務的完整流程。

Yarn曾經(jīng)是Hadoop默認的資源編排管理平臺。但最近情況有所變化，特別是對于Hadoop中的Spark，由于其與S3等其他存儲平臺集成得很好，而與Hadoop生態(tài)中其他組件反而沒有太緊密的關(guān)聯(lián)，因此Kubernetes正迅速替代Yarn，成為基于對象存儲的Spark系統(tǒng)的默認編排管理平臺。在這篇文章中，我們將深入研究如何在Kubernetes集群上構(gòu)建和部署Spark容器。由于Spark的運行依賴于數(shù)據(jù)，我們將配置Spark集群通過S3 API進行存儲操作。

構(gòu)建Spark容器

在Kubernetes上部署應用的第一步，是創(chuàng)建容器。雖然有些項目會提供官方的容器鏡像，但截止到寫此文時，Apache Spark并沒有提供官方鏡像。因此我們將自己創(chuàng)建Spark容器，讓我們從Dockerfile開始。

FROM?java:openjdk-8-jdkENV?hadoop_ver?2.8.2 ENV?spark_ver?2.4.4RUN?mkdir?-p?/opt?&&?\ cd?/opt?&&?\ curl?http://archive.apache.org/dist/hadoop/common/hadoop-${hadoop_ver}/hadoop-${hadoop_ver}.tar.gz?|?\tar?-zx?&&?\ ln?-s?hadoop-${hadoop_ver}?hadoop?&&?\ echo?Hadoop?${hadoop_ver}?installed?in?/optRUN?mkdir?-p?/opt?&&?\ cd?/opt?&&?\ curl?http://archive.apache.org/dist/spark/spark-${spark_ver}/spark-${spark_ver}-bin-without-hadoop.tgz?|?\tar?-zx?&&?\ ln?-s?spark-${spark_ver}-bin-without-hadoop?spark?&&?\ echo?Spark?${spark_ver}?installed?in?/optENV?SPARK_HOME=/opt/spark ENV?PATH=$PATH:$SPARK_HOME/bin ENV?HADOOP_HOME=/opt/hadoop ENV?PATH=$PATH:$HADOOP_HOME/bin ENV?LD_LIBRARY_PATH=$HADOOP_HOME/lib/nativeRUN?curl?http://central.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.8.2/hadoop-aws-2.8.2.jar?-o?/opt/spark/jars/hadoop-aws-2.8.2.jar RUN?curl?http://central.maven.org/maven2/org/apache/httpcomponents/httpclient/4.5.3/httpclient-4.5.3.jar?-o?/opt/spark/jars/httpclient-4.5.3.jar RUN?curl?http://central.maven.org/maven2/joda-time/joda-time/2.9.9/joda-time-2.9.9.jar?-o?/opt/spark/jars/joda-time-2.9.9.jar RUN?curl?http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-core/1.11.712/aws-java-sdk-core-1.11.712.jar?-o?/opt/spark/jars/aws-java-sdk-core-1.11.712.jar RUN?curl?http://central.maven.org/maven2/com/amazonaws/aws-java-sdk/1.11.712/aws-java-sdk-1.11.712.jar?-o?/opt/spark/jars/aws-java-sdk-1.11.712.jar RUN?curl?http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-kms/1.11.712/aws-java-sdk-kms-1.11.712.jar?-o?/opt/spark/jars/aws-java-sdk-kms-1.11.712.jar RUN?curl?http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-s3/1.11.712/aws-java-sdk-s3-1.11.712.jar?-o?/opt/spark/jars/aws-java-sdk-s3-1.11.712.jarADD?start-common.sh?start-worker?start-master?/ ADD?core-site.xml?/opt/spark/conf/core-site.xml ADD?spark-defaults.conf?/opt/spark/conf/spark-defaults.conf ENV?PATH?$PATH:/opt/spark/bin

在這個Dockerfile中，我們首先從官方地址下載Apache Spark和Hadoop，然后從Maven獲取關(guān)聯(lián)的jar包。當所有關(guān)聯(lián)的文件都已經(jīng)下載并解壓到一個特定的目錄后，我們將這些重要的配置文件添加到鏡像中。

在這個過程中，你可以很方便的添加自己環(huán)境特有的配置。

原本我們可以跳過以上步驟，直接使用一個預先構(gòu)建好的鏡像，但是通過解讀這些步驟可以讓我們的讀者看到Spark容器內(nèi)部的內(nèi)容，高級用戶可以據(jù)此修改來滿足他們特殊的需求。

以上示例中使用到的Dockerfile和其他關(guān)聯(lián)的配置文件，可以從這個GitHub倉庫中獲取。如果要使用這個倉庫中的內(nèi)容，請先使用以下命令將其克隆到本地：

git?clone?git@github.com:devshlabs/spark-kubernetes.git

現(xiàn)在，你可以根據(jù)需要在你的環(huán)境中進行任何更改，然后構(gòu)建鏡像，并上傳到你使用的容器注冊表中。在本文的示例中，我使用Dockerhub作為容器注冊表，命令如下：

cd?spark-kubernetes/spark-container docker?build?.?-t?mydockerrepo/spark:2.4.4 docker?push?mydockerrepo/spark:2.4.4

記得將其中的mydockerrepo替換為你實際的注冊表名字。

在Kubernetes上部署Spark

至此，Spark容器鏡像已經(jīng)構(gòu)建好，并可以拉取使用了。讓我們使用此鏡像來部署Spark Master和Worker。第一步是創(chuàng)建Spark Master。我們將使用Kubernetes ReplicationController創(chuàng)建Spark Master。在本文的示例中，我僅用單實例創(chuàng)建Spark Master。而在有HA需求的生產(chǎn)環(huán)境中，你可能需要將副本數(shù)設(shè)置為3或者以上。

kind:?ReplicationController apiVersion:?v1 metadata: name:?spark-master-controller spec: replicas:?1 selector: component:?spark-master template: metadata:labels:component:?spark-master spec:hostname:?spark-master-hostnamesubdomain:?spark-master-headlesscontainers:-?name:?spark-masterimage:?mydockerrepo/spark:2.4.4imagePullPolicy:?Alwayscommand:?["/start-master"]ports:-?containerPort:?7077-?containerPort:?8080resources:requests:cpu:?100m

為了使Spark Worker節(jié)點可以發(fā)現(xiàn)Spark Master節(jié)點，我們還需要創(chuàng)建headless服務。

當你從GitHub倉庫完成克隆，并進入spark-kubernetes目錄后，就可以啟動Spark Master服務了，命令如下：

kubectl?create?-f?spark-master-controller.yaml kubectl?create?-f?spark-master-service.yaml

現(xiàn)在，確保Master節(jié)點和所有的服務都正常運行，然后就可以開始部署Worker節(jié)點了。Spark Worker的副本數(shù)設(shè)置為2，你可以根據(jù)需要修改。Worker啟動命令如下：

kubectl?create?-f?spark-worker-controller.yaml

最后，通過以下命令確認是否所有服務都正常運行：

kubectl?get?all

執(zhí)行以上命令，你應該可以看到類似下面的內(nèi)容：

NAME???????????????????????????????READY?????STATUS????RESTARTS???AGE po/spark-master-controller-5rgz2???1/1???????Running???0??????????9m po/spark-worker-controller-0pts6???1/1???????Running???0??????????9m po/spark-worker-controller-cq6ng???1/1???????Running???0??????????9mNAME?????????????????????????DESIRED???CURRENT???READY?????AGE rc/spark-master-controller???1?????????1?????????1?????????9m rc/spark-worker-controller???2?????????2?????????2?????????9mNAME???????????????CLUSTER-IP??????EXTERNAL-IP???PORT(S)?????????????AGE svc/spark-master???10.108.94.160???<none>????????7077/TCP,8080/TCP???9m

?

向Spark集群提交Job

現(xiàn)在讓我們提交一個Job，看看是否執(zhí)行正常。不過在此之前，你需要一個有效的AWS S3賬戶，以及存有樣本數(shù)據(jù)的桶存在。我使用了Kaggle下載樣本數(shù)據(jù)，樣本數(shù)據(jù)可以從https://www.kaggle.com/datasna ... s.csv獲取，獲取以后需要上傳到S3的桶里。假定桶名是s3-data-bucket，那么樣本數(shù)據(jù)文件則位于s3-data-bucket/data.csv。

數(shù)據(jù)準備好以后，將其加載到一個Spark master pod中執(zhí)行。以Pod名為spark-master-controller-5rgz2為例，命令如下：

kubectl?exec?-it?spark-master-controller-v2hjb?/bin/bash

如果你登錄進入了Spark系統(tǒng)，可以運行Spark Shell：

export?SPARK_DIST_CLASSPATH=$(hadoop?classpath) spark-shell Setting?default?log?level?to?"WARN". To?adjust?logging?level?use?sc.setLogLevel(newLevel).?For?SparkR,?use?setLogLevel(newLevel). Spark?context?Web?UI?available?at?http://192.168.132.147:4040 Spark?context?available?as?'sc'?(master?=?spark://spark-master:7077,?app?id?=?app-20170405152342-0000). Spark?session?available?as?'spark'. Welcome?to____??????????????__/?__/__??___?_____/?/__ _\?\/?_?\/?_?`/?__/??'_/ /___/?.__/\_,_/_/?/_/\_\???version?2.4.4/_/Using?Scala?version?2.11.12?(Java?HotSpot(TM)?64-Bit?Server?VM,?Java?1.8.0_221) Type?in?expressions?to?have?them?evaluated. Type?:help?for?more?information.scala>

現(xiàn)在讓我們告訴Spark Master，S3存儲的詳細信息，在上文所示的Scale提示符中輸入以下配置：

sc.hadoopConfiguration.set("fs.s3a.endpoint",?"https://s3.amazonaws.com") sc.hadoopConfiguration.set("fs.s3a.access.key",?"s3-access-key") sc.hadoopConfiguration.set("fs.s3a.secret.key",?"s3-secret-key")

現(xiàn)在，只需將以下內(nèi)容粘貼到Scala提示符中，以提交Spark Job（請記得修改S3相關(guān)字段）：

import?org.apache.spark._ import?org.apache.spark.rdd.RDD import?org.apache.spark.util.IntParam import?org.apache.spark.sql.SQLContext import?org.apache.spark.graphx._ import?org.apache.spark.graphx.util.GraphGenerators import?org.apache.spark.mllib.regression.LabeledPoint import?org.apache.spark.mllib.linalg.Vectors import?org.apache.spark.mllib.tree.DecisionTree import?org.apache.spark.mllib.tree.model.DecisionTreeModel import?org.apache.spark.mllib.util.MLUtilsval?conf?=?new?SparkConf().setAppName("YouTube") val?sqlContext?=?new?SQLContext(sc)import?sqlContext.implicits._ import?sqlContext._val?youtubeDF?=?spark.read.format("csv").option("sep",?",").option("inferSchema",?"true").option("header",?"true").load("s3a://s3-data-bucket/data.csv")youtubeDF.registerTempTable("popular")val?fltCountsql?=?sqlContext.sql("select?s.title,s.views?from?popular?s") fltCountsql.show()

最后，你可以使用kubectl patch command命令更新Spark部署。比如，你可以在負載較高時添加更多工作節(jié)點，然后在負載下降后刪除這些工作節(jié)點。

原文鏈接：Complete guide to deploy Spark on Kubernetes（翻譯：木木TM）

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的基于Kubernetes的Spark部署完全指南的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。