CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群

• • • VMWare 安裝CentOS 7
    • 使用Xshell連接虛擬機(jī)
    • 集群設(shè)置
    • 安裝JDK 1.8
    • SSH 免密登陸
    • 安裝hadoop 3.2
    • 安裝Spark 3.0.1
    • 總結(jié)

?

VMWare 安裝CentOS 7

推薦使用VMware Workstation Pro 16，下載安裝即可。

下載最新的CentOS 7 Minimal-2009.iso，在虛擬機(jī)安裝。推薦1G運(yùn)存和20G存儲(chǔ)。

在CentOS 7的安裝過(guò)程中，需要設(shè)置root用戶(hù)的密碼，還可以根據(jù)需要?jiǎng)?chuàng)建單獨(dú)的用戶(hù)。

安裝完成后，使用命令行進(jìn)行更新，然后安裝net-tools.x86_64，以方便查看ip地址。 # 如果在安裝時(shí)沒(méi)有連接網(wǎng)絡(luò)vi /etc/sysconfig/network-scripts/ifcfg-ens33# 將ONBOOT=no修改為yes# 重啟網(wǎng)絡(luò)服務(wù)service network restart# 更新系統(tǒng)yum update# 安裝net-toolsyum install net-tools.x86_64# 查看ip地址ifconfig ip地址為：192.168.92.137

使用Xshell連接虛擬機(jī)

這里可以下載Xshell家庭/學(xué)校免費(fèi)版，但是您需要申請(qǐng)才行。

文件->新建會(huì)話(huà)，信息配置可以參考如下，連接即可。 名稱(chēng)主機(jī)端口用戶(hù)名

CentOS 7	192.168.92.137	22	root

表格中的信息，具體需要更換成您自己的。

集群設(shè)置

節(jié)點(diǎn)設(shè)置。 hostname(主機(jī)名)ip地址namenode(主節(jié)點(diǎn))datanode(從節(jié)點(diǎn))

master	192.168.92.137	True	False
slave1	192.168.92.138	False	True
slave2	192.168.92.139	False	True
slave3	192.168.92.140	False	True

為什么上面的ip地址是連續(xù)的呢? 這其實(shí)跟DHCP有關(guān)，下一步我們會(huì)使用克隆主機(jī)的方式來(lái)創(chuàng)建多個(gè)slave機(jī)器，大家可以去驗(yàn)證，但是可能出現(xiàn)與表中不一直的ip，我們根據(jù)需要修改即可。

安裝JDK 1.8

在進(jìn)行下一步的克隆前，我們先安裝jdk-8u271-linux-x64.tar.gz，目前1.8版本的下載需要注冊(cè)O(shè)racle的賬號(hào)才能夠下載，有點(diǎn)麻煩呢。

使用SCP命令上傳到master主機(jī)上，scp命令使用參考如下。 scp local_file remote_username@remote_ip:remote_folder 參數(shù)依次是本地文件，遠(yuǎn)程用戶(hù)名和遠(yuǎn)程ip，以及保存的文件夾。在PowerShell中使用如下。 PS E:\XunLeiDownload> scp .\jdk-8u271-linux-x64.tar.gz root@192.168.92.137:/usr/local>>> # 這是輸出The authenticity of host '192.168.92.137 (192.168.92.137)' can't be established.ECDSA key fingerprint is SHA256:DjkK5V/chVHAD1SsaosqdxfH4wClmH8S6M8kxw7X/RQ.Are you sure you want to continue connecting (yes/no)?Warning: Permanently added '192.168.92.137' (ECDSA) to the list of known hosts.root@192.168.92.137's password:jdk-8u271-linux-x64.tar.gz 100% 137MB 91.5MB/s 00:01 # 上傳成功

解壓jdk1.8到/usr/local路徑下， tar -xvf jdk-8u271-linux-x64.tar.gz mv jdk1.8.0_271 jdk1.8 # 重命名文件夾 安裝vim，編輯/etc/profile， yum install vim # 安裝vim vim /etc/profile 添加兩行內(nèi)容如下， export JAVA_HOME=/usr/local/jdk1.8 export PATH=$PATH:$JAVA_HOME/bin 執(zhí)行source /etc/profile使環(huán)境生效，$JAVA_HOME查看是否配置成功，或者， java -version >>> java version "1.8.0_271" Java(TM) SE Runtime Environment (build 1.8.0_271-b09) Java HotSpot(TM) 64-Bit Server VM (build 25.271-b09, mixed mode) 表示配置成功。

SSH 免密登陸

在配置ssh免密登陸之前，將master克隆3份slaves出來(lái)，然后驗(yàn)證其ip是否和上面所述一致，并使用Xshell連接，這樣我們可以得到額外的三臺(tái)機(jī)器，且都安裝好Java的。
注意：在使用克隆時(shí)，不太推薦使用鏈接克隆。
使用ifconfig查看ip地址后，如下，下面將按照這個(gè)ip地址進(jìn)行配置。 hostname(主機(jī)名)ip地址namenode(主節(jié)點(diǎn))datanode(從節(jié)點(diǎn))

master	192.168.92.137	True	False
slave1	192.168.92.134	False	True
slave2	192.168.92.135	False	True
slave3	192.168.92.146	False	True

在master節(jié)點(diǎn)上更改hosts文件如下。
vim /etc/hosts編輯，在后面添加以下行。 192.168.92.137 master 192.168.92.134 slave1 192.168.92.135 slave2 192.168.92.136 slave3 其他的slave節(jié)點(diǎn)也應(yīng)該如此。

使用以下命令，分別更改4臺(tái)機(jī)器的主機(jī)名，以master節(jié)點(diǎn)為例。 hostnamectl set-hostname master 其他節(jié)點(diǎn)是slave1-3，更改完成后在Xshell中重啟會(huì)話(huà)就可以發(fā)現(xiàn)主機(jī)名已經(jīng)改變啦。

要使master和3臺(tái)slave免密登陸，需先在本地機(jī)器使用ssh-keygen一個(gè)公私鑰對(duì)。 ssh-keygen -t rsa # 生成公私鑰對(duì) >>> Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'. Enter passphrase (empty for no passphrase): # 不用輸入 Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. # 存放位置 Your public key has been saved in /root/.ssh/id_rsa.pub. # 公鑰 The key fingerprint is: SHA256:vGAdZV8QBkGYgbyAj4OkQ9GrYEEiilX5QLmL97CcFeg root@master The key's randomart image is: +---[RSA 2048]----+ |+o++o+ ..=*o+o. | |==..= o oo o . | |*..o.* .. . | |=.o.+ +o . | |o..+ .o.S | | .. E... . | | o * . | | + . | | | +----[SHA256]-----+ 其他三臺(tái)機(jī)器也是這樣生成。

將slaves生成的所有id_rsa.pub公鑰文件通過(guò)scp上傳到master的/root/.ssh/目錄下。 scp id_rsa.pub root@master:/root/.ssh/id_rsa.pub.1 # slave2 對(duì)應(yīng)于.2 scp id_rsa.pub root@master:/root/.ssh/id_rsa.pub.2 # 依此類(lèi)推 # master上也要這樣處理，否則就不能從slaves登陸到master，如下 scp id_rsa.pub root@master:/root/.ssh/ 在master節(jié)點(diǎn)上，將所有的公鑰文件寫(xiě)入authorized_keys文件中。 cat id_rsa.pub* >> authorized_keys rm -rf id_rsa.pub.* # 刪除 分發(fā)authorized_keys文件給slaves機(jī)器。 scp authorized_keys root@slave1:/root/.ssh/ scp authorized_keys root@slave2:/root/.ssh/ scp authorized_keys root@slave3:/root/.ssh/ 分發(fā)known_hosts文件給slaves機(jī)器。 scp known_hosts root@slave3:/root/.ssh/ # 其他同上 這樣就可以實(shí)現(xiàn)免密登陸啦，查看known_hosts文件如下。 master,192.168.92.137 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBG4pcNSq4jQmGY3JRlYoU/IssJ8gfjTZhCcqBmLlviFismkti27xJHbd0s1rcaO/MX4ORK6eUdGr2ALE/r36otk=slave1,192.168.92.134 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBG4pcNSq4jQmGY3JRlYoU/IssJ8gfjTZhCcqBmLlviFismkti27xJHbd0s1rcaO/MX4ORK6eUdGr2ALE/r36otk=slave2,192.168.92.135 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBG4pcNSq4jQmGY3JRlYoU/IssJ8gfjTZhCcqBmLlviFismkti27xJHbd0s1rcaO/MX4ORK6eUdGr2ALE/r36otk=slave3,192.168.92.136 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBG4pcNSq4jQmGY3JRlYoU/IssJ8gfjTZhCcqBmLlviFismkti27xJHbd0s1rcaO/MX4ORK6eUdGr2ALE/r36otk= 符合這樣的格式才可以呢。

安裝hadoop 3.2

下載hadoop-3.2.1.tar.gz，通過(guò)scp上傳之master節(jié)點(diǎn)，然后解壓。 PS E:\XunLeiDownload> scp .\jdk-8u271-linux-x64.tar.gz root@192.168.92.137:/usr/local tar -xvf hadoop-3.2.1.tar.gz # 解壓在/usr/local/hadoop-3.2.1

添加環(huán)境變量，vim /etc/profile，在最后添加以下兩行。 export HADOOP_HOME=/usr/local/hadoop-3.2.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME:/sbin 執(zhí)行以下命令source /etc/profile，使配置文件生效，并查看是否成功。 hadoop version >>> Hadoop 3.2.1 Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r b3cbbb467e22ea829b3808f4b7b01d07e0bf3842 Compiled by rohithsharmaks on 2019-09-10T15:56Z Compiled with protoc 2.5.0 From source with checksum 776eaf9eee9c0ffc370bcbc1888737 This command was run using /usr/local/hadoop-3.2.1/share/hadoop/common/hadoop-common-3.2.1.jar

在hadoop安裝目錄下建立以下目錄： mkdir tmp # 即hadoop-3.2.1/tmp， 存儲(chǔ)臨時(shí)文件 mkdir -p hdfs/name # namenode的數(shù)據(jù)目錄 mkdir -p hdfs/data # datanode的數(shù)據(jù)目錄

配置相關(guān)配置文件，在etc/hadoop目錄下。 文件介紹

core-site.xml	核心配置文件
dfs-site.xml	hdfs存儲(chǔ)相關(guān)配置
apred-site.xml	MapReduce相關(guān)的配置
arn-site.xml	yarn相關(guān)的一些配置
workers	用來(lái)指定從節(jié)點(diǎn)，文件中默認(rèn)是localhost
hadoop-env.sh	配置hadoop相關(guān)變量

在core-site.xml文件中指定默認(rèn)文件系統(tǒng)和臨時(shí)文件目錄。 <configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-3.2.1/tmp</value></property> </configuration> 在hdfs-site.xml中配置復(fù)制份數(shù)，datanode和namenode的目錄。 <configuration><property><name>dfs.namenode.secondary.http-address</name><value>master:50090</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop-3.2.1/hdfs/name</value><final>true</final></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop-3.2.1/hdfs/data</value><final>true</final></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property><property><name>dfs.permissions.enabled</name><value>false</value></property> </configuration> 在mapred-site.xml中指定主節(jié)點(diǎn)和添加classpath。 <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property><property><name>mapreduce.application.classpath</name><value>/usr/local/hadoop-3.2.1/etc/hadoop,/usr/local/hadoop-3.2.1/share/hadoop/common/*,/usr/local/hadoop-3.2.1/share/hadoop/common/lib/*,/usr/local/hadoop-3.2.1/share/hadoop/hdfs/*,/usr/local/hadoop-3.2.1/share/hadoop/hdfs/lib/*,/usr/local/hadoop-3.2.1/share/hadoop/mapreduce/*,/usr/local/hadoop-3.2.1/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.2.1/share/hadoop/yarn/*,/usr/local/hadoop-3.2.1/share/hadoop/yarn/lib/*</value></property> </configuration> yarn-site.xml中都需要指向主節(jié)點(diǎn)。 <configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property> </configuration> workers中指定datanode節(jié)點(diǎn)。 localhost slave1 slave2 slave3 在hadoop-env.sh中指定用戶(hù)。 export HADOOP_HOME=/usr/local/jdk1.8 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root

將配置好的hadoop分發(fā)到其他機(jī)器，在其他slaves機(jī)器上也要執(zhí)行步驟2添加環(huán)境變量哦。 scp -r hadoop-3.2.1 slave1:/usr/local/ scp -r hadoop-3.2.1 slave2:/usr/local/ scp -r hadoop-3.2.1 slave3:/usr/local/

格式化namenode，在master執(zhí)行。 hdfs name -format >> 2020-11-25 23:58:07,593 INFO common.Storage: Storage directory /usr/local/hadoop-3.2.1/hdfs/name has been successfully formatted. 2020-11-25 23:58:07,640 INFO namenode.FSImageFormatProtobuf: Saving image file /usr/local/hadoop-3.2.1/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression 2020-11-25 23:58:07,792 INFO namenode.FSImageFormatProtobuf: Image file /usr/local/hadoop-3.2.1/hdfs/name/current/fsimage.ckpt_0000000000000000000 of size 396 bytes saved in 0 seconds . 2020-11-25 23:58:07,807 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 2020-11-25 23:58:07,825 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid=0 when meet shutdown. 2020-11-25 23:58:07,826 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at master/192.168.92.137 ************************************************************/ 在輸出中看到Storage: Storage directory /usr/local/hadoop-3.2.1/hdfs/name has been successfully formatted.，說(shuō)明格式話(huà)成功了，在下一次格式化前，需要?jiǎng)h除hdfs和tmp目錄下的所有文件，否則會(huì)運(yùn)行不起來(lái)。

啟動(dòng)hadoop，在sbin下。 ./start-all.sh >>>./start-all.sh Starting namenodes on [master] 上一次登錄：四 11月 26 00:08:30 CST 2020pts/5 上 master: namenode is running as process 14328. Stop it first. Starting datanodes 上一次登錄：四 11月 26 00:14:03 CST 2020pts/5 上 slave1: WARNING: /usr/local/hadoop-3.2.1/logs does not exist. Creating. slave3: WARNING: /usr/local/hadoop-3.2.1/logs does not exist. Creating. slave2: WARNING: /usr/local/hadoop-3.2.1/logs does not exist. Creating. localhost: datanode is running as process 14468. Stop it first. Starting secondary namenodes [master] 上一次登錄：四 11月 26 00:14:04 CST 2020pts/5 上 Starting resourcemanager 上一次登錄：四 11月 26 00:14:09 CST 2020pts/5 上 resourcemanager is running as process 13272. Stop it first. Starting nodemanagers 上一次登錄：四 11月 26 00:14:19 CST 2020pts/5 上 使用jps查看。 jps >>> 15586 Jps 14468 DataNode 14087 GetConf 13272 ResourceManager 14328 NameNode 15096 SecondaryNameNode 15449 NodeManager 這上面顯示的master節(jié)點(diǎn)的信息slaves節(jié)點(diǎn)則少了一些，可以自行查看哦。

驗(yàn)證，訪(fǎng)問(wèn)namenod主節(jié)點(diǎn)端口9870。 service firewalld stop # 需要關(guān)閉防火墻哦 webui地址在：http://192.168.92.137:9870/。

在下面的摘要如下，可以看到確實(shí)有4個(gè)節(jié)點(diǎn)。

查看yarn管理界面，在http://192.168.92.137:8088/cluster。

測(cè)試，向hdfs文件系統(tǒng)中寫(xiě)入一個(gè)文件。 PS E:\XunLeiDownload> scp .\TwitterSecurity.csv root@192.168.92.137:/root # 這里上傳一個(gè)40多兆的csv文件 hdfs dfs -put TwitterSecurity.csv / 可以看到確實(shí)在是三個(gè)節(jié)點(diǎn)上復(fù)制保存。

安裝Spark 3.0.1

下載預(yù)編譯hadoop3.2的版本，spark-3.0.1-bin-hadoop3.2.tgz。

使用scp上傳到master節(jié)點(diǎn)上，然后解壓，并加入相應(yīng)的環(huán)境變量。

PS E:\XunLeiDownload> scp .\spark-3.0.1-bin-hadoop3.2.tgz root@192.168.92.137:/usr/local # 上傳 tar -xvf spark-3.0.1-bin-hadoop3.2.tgz # 解壓 mv spark-3.0.1-bin-hadoop3.2 spark-3.0.1

vim /etc/profile添加以下兩行。

export SPARK_HOME=/usr/local/spark-3.0.1 export PATH=$PATH:$SPARK_HOME:/bin:$SPARK_HOME:/sbin

source /etc/profile使配置文件生效。

進(jìn)入conf文件夾，復(fù)制配置文件模板。
cp spark-env.sh.template spark-env.sh
在spark-env.sh后面添加以下行。

export JAVA_HOME=/usr/local/jdk1.8 export HADOOP_CONF_DIR=/usr/local/hadoop-3.2.1/etc/hadoop export SPARK_MASTER_HOST=master export SPARK_LOCAL_DIRS=/usr/local/spark-3.0.1

cp slaves.template slaves編輯如下。

localhost slave1 slave2 slave3

將spark分發(fā)給slaves機(jī)器，同時(shí)不要忘記環(huán)境變量。

scp -r spark-3.0.1 slave1:/usr/local/ scp -r spark-3.0.1 slave2:/usr/local/ scp -r spark-3.0.1 slave3:/usr/local/

運(yùn)行，進(jìn)入sbin目錄。

./start-all.sh >>> org.apache.spark.deploy.master.Master running as process 16859. Stop it first. slave1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave1.out slave3: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave3.out localhost: org.apache.spark.deploy.worker.Worker running as process 17975. Stop it first. slave2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.out

查看，地址在：http://192.168.92.137:8080/。

總結(jié)

以上是生活随笔為你收集整理的CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。