1.至少準備三臺虛擬機(我用五臺)并按如下文章做好配置
服務器配置NTP時鐘同步
我是用hadoop用戶來安裝集群，如果用root用戶的話可以不用管這一步
Linux/CentOS 配置普通用戶配置免密切換root
2.所有虛擬機之間配置免密登錄
3.準備好存放安裝包及安裝軟件的目錄，以及存放數據的目錄
我存放軟件包的位置是/opt/packages，安裝目錄是/opt/apps
數據目錄是/data 且/data目錄的權限要設置為755，權限太大的話安裝HDFS的時候會報錯
4.下載好各個軟件包
推薦在清華鏡像站下載：https://mirrors.tuna.tsinghua.edu.cn/apache/
或者從我的百度網盤下載：https://pan.baidu.com/s/1dLw1nuP9ahlIwrVykVNiGw
提取碼：kofd
apache-flume-1.9.0-bin.tar.gz
apache-hive-3.1.2-bin.tar.gz
apache-zookeeper-3.5.9-bin.tar.gz
cmak-3.0.0.5.zip
flink-1.13.0-bin-scala_2.12.tgz
hadoop-3.2.2.tar.gz
hbase-2.3.5-bin.tar.gz
hbase-2.3.5-client-bin.tar.gz
jdk-11.0.10_linux-x64_bin.tar.gz
kafka_2.12-2.6.2.tgz
mysql-5.7.33-el7-x86_64.tar.gz
redis-6.2.3.tar.gz
spark-2.4.8-bin-hadoop2.7.tgz

總結

以上是生活随笔為你收集整理的从零开始搭建个人大数据集群——环境准备篇的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。