2019獨角獸企業(yè)重金招聘Python工程師標準>>>

Spark版本：Spark1.5.2

Scala版本：2.11.7

Spark安裝路徑：/home/hadoop

Scala安裝路徑：/home/hadoop

?

1.??? 解壓安裝包

[hadoop@hd1 ~]#tar zxvf scala-2.11.7.tgz

[hadoop@hd1 ~]#tar zxvf ?spark-1.5.2-bin-hadoop2.6.tgz

?

2. 配置環(huán)境變量

[root@hd1 ~]#vim /etc/profile

加上以下對應內(nèi)容：

export JAVA_HOME=/home/yy/jdk1.8

export SCALA_HOME=/home/yy/scala

export SPARK_HOME=/home/yy/spark-1.5.2-bin-hadoop2.6

export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

執(zhí)行source /etc/profile使配置生效

?

3.修改spark配置

[hadoop@hd1 ~]cd spark-1.5.2-bin-hadoop2.6/conf

?

3.1復制模板文：

[hadoop@hd1 conf]#cp spark-env.sh.template?spark-env.sh

[hadoop@hd1 conf]#cp slaves.template slaves

?

3.2編輯spark-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79

export SCALA_HOME=/home/hadoop/scala

export SPARK_MASTER_IP=open1

export SPARK_WORKER_INSTANCES=2

export SPARK_WORKER_MEMORY=6g

export master=spark://hd1:7077

export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.6.0/etc/hadoop

export SPARK_HOME=/home/hadoop/spark-1.5.2

export HADOOP_HOME=/home/hadoop/hadoop-2.6.0

export SPARK_CLASSPATH=/home/hadoop/test/aliopen01/mysql-connector-java-5.1.40-bin.jar:$SPARK_HOME/lib/hbase-client-0.98.22-hadoop2.jar:$SPARK_HOME/lib/hbase-common-0.98.22-hadoop2.jar:$SPARK_HOME/lib/hbase-protocol-0.98.22-hadoop2.jar:$SPARK_HOME/lib/hbase-server-0.98.22-hadoop2.jar:$SPARK_HOME/lib/htrace-core-2.04.jar:$SPARK_HOME/lib/protobuf-java-2.5.0.jar:$SPARK_HOME/lib/guava-12.0.1.jar:$SPARK_HOME/lib/hive-hbase-handler-1.2.1.jar:$SPARK_CLASSPATH

export SPARK_YARN_USER_ENV="CLASSPATH=/home/hadoop/hadoop-2.6.0/etc/hadoop"

? ? ?ps：

????????????spark-shell 后面的參數(shù)釋義
????????????????????--executor-memory ? ? ? ?默認1GB 是每個executor占用的內(nèi)存
????????????????????--driver-memory ? ? ? ? ? ? driver占用的內(nèi)存，（Driver： 一個Spark作業(yè)運行時包括一個Driver進程，也是作業(yè)的主進程，負責作業(yè)的解析、生成Stage并調(diào)度Task到Executor上。包括DAGScheduler，TaskScheduler。）
????????????????????--total-executor-cores ? ?全部executor占用的總CPU核數(shù)
????????????????????--num-executors ? ? ? ? ? ?這個spark-shell 總共開啟多少個executor（Executor：即真正執(zhí)行作業(yè)的地方，一個集群一般包含多個Executor，每個Executor接收Driver的命令Launch Task，一個Executor可以執(zhí)行一到多個Task。）
????????????????????--executor-cores ?每個executor使用的cpu核數(shù)

?

3.3編輯slaves

添加上你的對應信息，所有的集群的機器：

hd2

hd3

hd4

hd5

?

進入spark-1.5.2-bin-hadoop2.6/sbin/目錄，執(zhí)行：./start-all.sh

（如果沒有設(shè)置ssh免密碼登陸，會要求輸入密碼）

這時候jps查看多了個master和worker

表示安裝成功

?

?

轉(zhuǎn)載于:https://my.oschina.net/gywbest/blog/780338

總結(jié)

以上是生活随笔為你收集整理的spark-1.5.2集群安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。