文章目錄

• 前言
• 一、Hadoop的三種運行環(huán)境
• 二、集群規(guī)劃
• 三.需要的基本軟件安裝
• 下期見

---

前言

Hadoop的運行環(huán)境可以是在Windows上,也可以在linux上,但在Windows上運行效率很低;

下面介紹Hadoop在linux的環(huán)境搭建;

一、Hadoop的三種運行環(huán)境

Hadoop運行環(huán)境有三種模式：本地模式，偽分布模式，完全分布式模式

本地模式（Standalone Mode）

默認(rèn)情況下，Hadoop即處于該模式，用于開發(fā)和調(diào)式。【不推薦使用】

不對配置文件進(jìn)行修改。

使用本地文件系統(tǒng)，而不是分布式文件系統(tǒng).

Hadoop不會啟動NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager等守護(hù)進(jìn)程，Map()和Reduce()任務(wù)作為同一個進(jìn)程的不同部分來執(zhí)行的。

用于對MapReduce程序的邏輯進(jìn)行調(diào)試，確保程序的正確。

偽分布模式（Pseudo-Distributed Mode）

Hadoop的守護(hù)進(jìn)程運行在本機機器，模擬一個小規(guī)模的集群。【電腦配置不高的可以使用】　

在一臺主機模擬一個小規(guī)模的集群，在這種模式下Hadoop使用的是分布式文件系統(tǒng)，一般用于程序調(diào)試與測試.也可以說偽分布式是完全分布式 的一個特例。

在這種模式下，Hadoop使用的是分布式文件系統(tǒng)。在單機模式之上增加了代碼調(diào)試功能，允許檢查內(nèi)存使用情況，HDFS輸入輸出，以及守護(hù)進(jìn)程交互。Hadoop啟動NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager，這些守護(hù)進(jìn)程都在同一臺機器上運行，是相互獨立的Java進(jìn)程。

需要修改配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。

格式化文件系統(tǒng)

完全分布式模式（Cluster Mode） <本次搭建的環(huán)境>

Hadoop的運行在由多臺主機搭建的集群上，是真正的生產(chǎn)環(huán)境。【電腦內(nèi)存8G及以上就可以配置】

在這種模式下，Hadoop在所有的主機上安裝JDK、Hadoop、Zookeeper等軟件，組成相互連通的網(wǎng)絡(luò)。

主機間設(shè)置SSH免密碼登錄，把各從節(jié)點生成的公鑰添加到主節(jié)點的信任列表中。

需要修改配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh。 格式化文件系統(tǒng)

啟動Hadoop后的進(jìn)程：NameNode，DataNode，ResourceManager，NodeManager，SecondaryNameNode

二、集群規(guī)劃

三.需要的基本軟件安裝

VMware 安裝
由于版權(quán)原因各位自行下載;VM16即可

Linux 系統(tǒng)安裝
用的是CentOs7,
可以參考https://blog.csdn.net/weixin_45556441/article/details/114382989
資源下載 https://download.csdn.net/download/weixin_45556441/15676799

遠(yuǎn)程連接工具安裝
直接安裝Xshell綠色版即可。
安裝地址 https://download.csdn.net/download/weixin_45556441/15676579

下期見

Hadoop環(huán)境搭建教學(xué)(二)完全分布式集群搭建；

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的Hadoop环境搭建教学(一)运行环境,集群规划介绍；的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。