作者 |?chen_01_c

責(zé)編 |?Carol

來源 | CSDN 博客

封圖 | CSDN付費(fèi)下載于視覺中國

hadoop介紹

Hadoop 是 Lucene 創(chuàng)始人 Doug Cutting，根據(jù) Google 的相關(guān)內(nèi)容山寨出來的分布式文件系統(tǒng)和對(duì)海量數(shù)據(jù)進(jìn)行分析計(jì)算的基礎(chǔ)框架系統(tǒng)，其中包含 MapReduce 程序，hdfs 系統(tǒng)等！[它受到最先由 Google Lab 開發(fā)的 Map/Reduce 和 Google File System(GFS) 的啟發(fā)。]

Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

Hadoop的框架最核心的設(shè)計(jì)：HDFS 和mapreduce

HDFS：為海量數(shù)據(jù)提供存儲(chǔ)

MapReduce: 為海量數(shù)據(jù)提供了計(jì)算cluster:集群

LB：負(fù)載均衡

LVS SLB HAPROXY,nginx

HA：高可用

MHA，keepalived，hearebeat

HPC、Hadoop：大批量的計(jì)算輔助存儲(chǔ)和運(yùn)算

什么是分布式：分散的

Hadoop的集群優(yōu)點(diǎn)

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。Hadoop 以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理。

Hadoop 是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。

Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?#xff0c;通過并行處理加快處理速度

Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。

PB級(jí)別的數(shù)據(jù)換算成G？

IPB=1024TB

1TB=1024G

Hadoop 依賴于社區(qū)服務(wù)，因此它的成本比較低，任何人都可以使用。

Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái)。用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn)：

• 高可靠性：hadoop 按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴

• 高擴(kuò)展性：節(jié)點(diǎn)比較多，方便計(jì)算和分配數(shù)據(jù)。

什么是節(jié)點(diǎn)？

節(jié)點(diǎn)是一個(gè)術(shù)語,代指一類設(shè)備.他們可以是主機(jī)（pc）,服務(wù)器,也可以是構(gòu)成傳輸網(wǎng)絡(luò)的交換機(jī),路由器,防火墻等等.

高效性：Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非?？?。

容錯(cuò)性：Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。

raid 容錯(cuò)性是什么意思，raid幾沒有容錯(cuò)性？raid 幾有容錯(cuò)性。

低成本：與一體機(jī)、商用數(shù)據(jù)倉庫以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比，hadoop是開源的，項(xiàng)目的軟件成本因此會(huì)大大降低

注意：hadoop框架開發(fā)語言：java，在linux上運(yùn)行效果比較理想。

官網(wǎng)：http://hadoop.apache.org/

關(guān)于hadoop的相關(guān)概念

1、分布式存儲(chǔ)：

linux存儲(chǔ)有哪些？

答：NFS, NAS, HDFS,MFS

命名空間

namespace:在分布式存儲(chǔ)系統(tǒng)中，分散在不同節(jié)點(diǎn)中的數(shù)據(jù)可能屬于同一個(gè)文件，為了組織眾多的文件，把文件可以放到不同的文件夾中，文件夾可以一級(jí)一級(jí)的包含。我們把這種組織形式稱為命名空間（namespace）。命名空間管理著整個(gè)服務(wù)器集群中的所有文件。命名空間的職責(zé)與存儲(chǔ)真實(shí)數(shù)據(jù)的職責(zé)是不一樣的。負(fù)責(zé)命名空間職責(zé)的節(jié)點(diǎn)稱為主節(jié)點(diǎn)（master node），負(fù)責(zé)存儲(chǔ)真實(shí)數(shù)據(jù)職責(zé)的節(jié)點(diǎn)稱為從節(jié)點(diǎn)（slave node）。

主從節(jié)點(diǎn)：

主節(jié)點(diǎn)負(fù)責(zé)管理文件系統(tǒng)的文件結(jié)構(gòu)，從節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)真實(shí)的數(shù)據(jù)，合稱為主從式結(jié)構(gòu)（master-slaves）。

用戶操作的時(shí)候，也應(yīng)該是先和主節(jié)點(diǎn)打交道， 查詢數(shù)據(jù)在那些從節(jié)點(diǎn)上， 然后再從從節(jié)點(diǎn)讀取數(shù)據(jù)。有的時(shí)候?yàn)榱思涌煊脩舻脑L問速度，會(huì)把整個(gè)命名空間信息都放在內(nèi)存當(dāng)中、當(dāng)存儲(chǔ)文件越多時(shí)，我們主節(jié)點(diǎn)就需要越多的內(nèi)存空間。

打開一個(gè)文件是先加載到哪里？

答：內(nèi)存

我們?yōu)槭裁从霉P記本打不開一個(gè)2T大小的文件？

答：內(nèi)存太小

2、Block

在從節(jié)點(diǎn)存儲(chǔ)數(shù)據(jù)時(shí)，有的原始數(shù)據(jù)文件可能很大，有的可能很小，大小不一的文件不容易管理，那么可以抽象出一個(gè)獨(dú)立的存儲(chǔ)文件單位，稱為塊（block）。

問題：如果我的硬盤有500G，現(xiàn)在還剩200G ，但是我創(chuàng)建文件的時(shí)候提示我硬盤空間不足？

答：一般情況是因?yàn)閕node號(hào)不足

3、容災(zāi)

數(shù)據(jù)存放在集群中，可能因?yàn)榫W(wǎng)絡(luò)原因或者服務(wù)器硬件原因造成訪問失敗，最好采用副本（replication）機(jī)制，把數(shù)據(jù)同時(shí)備份到多臺(tái)服務(wù)器中，這樣數(shù)據(jù)就安全了，數(shù)據(jù)丟失或者訪問失敗的概率就小了。

4、異地容災(zāi)？

答：不同的地域，構(gòu)建一套或者多套相同的應(yīng)用或者數(shù)據(jù)庫，起到災(zāi)難后立刻接管的作用

在 hadoop 中，分布式存儲(chǔ)系統(tǒng)稱為 HDFS（hadoop distributed file system）。其中，主節(jié)點(diǎn)稱為名字節(jié)點(diǎn)（namenode），從節(jié)點(diǎn)稱為數(shù)據(jù)節(jié)點(diǎn)（datanode）

流程：

1：首先，客戶端請求查看數(shù)據(jù)，請求先訪問namenode

2：nomenode根據(jù)你的需求，告訴你數(shù)據(jù)存儲(chǔ)在那些datanode上

3：客戶端直接和從節(jié)點(diǎn)聯(lián)系，獲取數(shù)據(jù)

分布式計(jì)算

對(duì)數(shù)據(jù)進(jìn)行處理時(shí)，我們會(huì)把數(shù)據(jù)讀取到內(nèi)存中進(jìn)行處理。如果我們對(duì)海量數(shù)據(jù)進(jìn)行處理，比如數(shù)據(jù)大小是 100GB，我們要統(tǒng)計(jì)文件中一共有多少個(gè)單詞。要想把數(shù)據(jù)都加載到內(nèi)存中幾乎是不可能的，稱為移動(dòng)數(shù)據(jù)。

那么是否可以把程序代碼放到存放數(shù)據(jù)的服務(wù)器上呢？因?yàn)槌绦虼a與原始數(shù)據(jù)相比，一般很小，幾乎可以忽略的，所以省下了原始數(shù)據(jù)傳輸?shù)臅r(shí)間了?，F(xiàn)在，數(shù)據(jù)是存放在分布式文件系統(tǒng)中，100GB 的數(shù)據(jù)可能存放在很多的服務(wù)器上，那么就可以把程序代碼分發(fā)到這些服務(wù)器上，在這些服務(wù)器上同時(shí)執(zhí)行，也就是并行計(jì)算，也是分布式計(jì)算。這就大大縮短了程序的執(zhí)行時(shí)間。我們把程序代碼移動(dòng)數(shù)據(jù)節(jié)點(diǎn)的機(jī)器上執(zhí)行的計(jì)算方式稱為移動(dòng)計(jì)算。

分布式計(jì)算需要的是最終的結(jié)果，程序代碼在很多機(jī)器上并行執(zhí)行后會(huì)產(chǎn)生很多的結(jié)果，因此需要有一段代碼對(duì)這些中間結(jié)果進(jìn)行匯總。Hadoop中的分布式計(jì)算一般是由兩階段完成的。

第一階段負(fù)責(zé)讀取各數(shù)據(jù)節(jié)點(diǎn)中的原始數(shù)據(jù)，進(jìn)行初步處理，對(duì)各個(gè)節(jié)點(diǎn)中的數(shù)據(jù)求單詞數(shù)。然后把處理結(jié)果傳輸?shù)降诙€(gè)階段，對(duì)個(gè)節(jié)點(diǎn)結(jié)果進(jìn)行匯總，產(chǎn)生最終結(jié)果。

在hadoop中，分布式計(jì)算部分稱為MapReduce。

MapReduce 是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念"Map（映射）“和"Reduce(歸約)”，和它們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。

分布式計(jì)算角色

主節(jié)點(diǎn)：作業(yè)節(jié)點(diǎn)（jobtracker）

從節(jié)點(diǎn)：任務(wù)節(jié)點(diǎn)（tasktracker）

在任務(wù)節(jié)點(diǎn)當(dāng)中，運(yùn)行第一階段的代碼稱為map任務(wù)（map task ） ，運(yùn)行第二階段代碼稱為 reduce任務(wù)（reduce task）

名詞解釋：

1）hadoop : apache 開源的分布式框架

2）HDFS：hadoop的分布式文件系統(tǒng)

3）NameNode: Hadoop HDFS 元數(shù)據(jù)主節(jié)點(diǎn)服務(wù)器，負(fù)責(zé)保存datenode文件存儲(chǔ)元數(shù)據(jù)信息，這個(gè)服務(wù)器時(shí)單點(diǎn)的。

4） obtracker : hadoop的map/reduce調(diào)度器，負(fù)責(zé)與任務(wù)節(jié)點(diǎn)通信分配計(jì)算任何并跟蹤任務(wù)進(jìn)度，這個(gè)服務(wù)器也是單點(diǎn)的。

5）DataNode : Hadoop的數(shù)據(jù)節(jié)點(diǎn)，負(fù)責(zé)存儲(chǔ)數(shù)據(jù)

6）tasktracker: hadoop的調(diào)度程度，負(fù)責(zé)map和reduce的任務(wù)的啟動(dòng)和執(zhí)行

hadoop集群搭建

1）環(huán)境

配好IP，關(guān)閉iptables， 關(guān)閉selinux,配置hosts

[root@ chenc01 ~]# service iptables stop [root@ chenc01 ~]# setenforce 0 [root@ chenc01 ~]# vim /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.0.0.61 chenc01 10.0.0.62 chenc02 10.0.0.63?chenc03

2）創(chuàng)建普通用戶

三臺(tái)服務(wù)器上都要?jiǎng)?chuàng)建普通用戶，hadoop，配置密碼：123456

[root@ chenc01 ~]# useradd -u 8000 hadoop ; echo 123456 | passwd --stdin hadoop 更改用戶 hadoop 的密碼 。 passwd：?所有的身份驗(yàn)證令牌已經(jīng)成功更新。

3） 設(shè)置namenode

設(shè)置namenode能夠無密鑰登錄另外兩臺(tái)服務(wù)器

[root@ chenc01 ~]# ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: f1:7c:f6:6c:81:f5:a6:2a:74:d1:f2:95:50:38:ad:6f root@chenc01.localdomain The key's randomart image is: +--[ RSA 2048]----+ | +. | | + . | | . .= .| | + o+.o.| | S o ++o.o| | .o.o.E | | . . * | | . o | | .. | +-----------------+ [root@ chenc01 ~]# ssh-copy-id root@10.0.0.62 The authenticity of host '10.0.0.62 (10.0.0.62)' can't be established. RSA key fingerprint is 9b:57:b9:86:84:90:a4:4b:44:3e:18:9f:8a:29:6f:e5. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '10.0.0.62' (RSA) to the list of known hosts. root@10.0.0.62's password: Now try logging into the machine, with "ssh 'root@10.0.0.62'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting.[root@ chenc01 ~]# ssh-copy-id root@10.0.0.63 The authenticity of host '10.0.0.63 (10.0.0.63)' can't be established. RSA key fingerprint is 9b:57:b9:86:84:90:a4:4b:44:3e:18:9f:8a:29:6f:e5. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '10.0.0.63' (RSA) to the list of known hosts. root@10.0.0.63's password: Now try logging into the machine, with "ssh 'root@10.0.0.63'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting. # 測試（是否能登錄成功 [root@ chenc01 ~]# ssh 10.0.0.62 Last?login:?Fri?Nov?29?17:15:15?2019?from?10.0.0.1

4）安裝jdk

[root@ chenc01 ~]# rpm -ivh jdk-8u131-linux-x64_.rpm Preparing... ########################################### [100%]1:jdk1.8.0_131 ########################################### [100%] Unpacking JAR files...tools.jar...plugin.jar...javaws.jar...deploy.jar...rt.jar...jsse.jar...charsets.jar...localedata.jar... # 修改/etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_131/ export JAVA_BIN=/usr/java/jdk1.8.0_131/bin/ export PATH=${JAVA_HOME}/bin:$PATH export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar # 加載 [root@ chenc01 ~]# source /etc/profile # 查看java版本 [root@ chenc01 ~]# java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java?HotSpot(TM)?64-Bit?Server?VM?(build?25.131-b11,?mixed?mode)

問題：source 在數(shù)據(jù)庫里還可以用來做什么？

答：導(dǎo)入

5）在另外兩個(gè)節(jié)點(diǎn)安裝java/jdk

[root@ chenc02 ~]# rpm -ivh jdk-8u131-linux-x64_.rpm Preparing... ########################################### [100%]1:jdk1.8.0_131 ########################################### [100%] Unpacking JAR files...tools.jar...plugin.jar...javaws.jar...deploy.jar...rt.jar...jsse.jar...charsets.jar...localedata.jar... # 修改/etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_131/ export JAVA_BIN=/usr/java/jdk1.8.0_131/bin/ export PATH=${JAVA_HOME}/bin:$PATH export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar # 加載 [root@ chenc02 ~]# source /etc/profile # 查看java版本 [root@ chenc02 ~]# java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java?HotSpot(TM)?64-Bit?Server?VM?(build?25.131-b11,?mixed?mode)

6）安裝namenode

Hadoop 安裝目錄：/home/hadoop/hadoop-3.13 使用 root 帳號(hào)將 hadoop-3.1.3.tar.gz 上傳到服務(wù)器，并且放到/home/hadoop下！

• 創(chuàng)建dfs和tmp

[root@ chenc01 ~]# su - hadoop [hadoop@ chenc01 ~]$ mkdir -p /home/hadoop/dfs/name /home/hadoop/dfs/data /home/hadoop/tmp [hadoop@ chenc01 ~]$ rz [hadoop@ chenc01 ~]$ whoami hadoop [hadoop@ chenc01 ~]$ ls dfs??hadoop-3.1.3.tar.gz??tmp

• 解壓

[hadoop@ chenc01 ~]$ tar xvf hadoop-3.1.3.tar.gz [hadoop@ chenc01 ~]$ cd hadoop-3.1.3 [hadoop@ chenc01 hadoop-3.1.3]$ ll total 200 drwxr-xr-x 2 hadoop hadoop 4096 2019-09-12 12:46 bin drwxr-xr-x 3 hadoop hadoop 4096 2019-09-12 10:51 etc drwxr-xr-x 2 hadoop hadoop 4096 2019-09-12 12:46 include drwxr-xr-x 3 hadoop hadoop 4096 2019-09-12 12:46 lib drwxr-xr-x 4 hadoop hadoop 4096 2019-09-12 12:46 libexec -rw-rw-r-- 1 hadoop hadoop 147145 2019-09-04 17:31 LICENSE.txt -rw-rw-r-- 1 hadoop hadoop 21867 2019-09-04 17:31 NOTICE.txt -rw-rw-r-- 1 hadoop hadoop 1366 2019-09-04 17:31 README.txt drwxr-xr-x 3 hadoop hadoop 4096 2019-09-12 10:51 sbin drwxr-xr-x 4 hadoop hadoop 4096 2019-09-12 13:08 share [hadoop@ chenc01 hadoop-3.1.3]$ cd /home/hadoop/hadoop-3.1.3/etc/hadoop/ [hadoop@ chenc01 hadoop]$ pwd /home/hadoop/hadoop-3.1.3/etc/hadoop [hadoop@ chenc01 hadoop]$ ls hadoop-env.sh # java的環(huán)境變量 yarn-env.sh # 制定yarn框架的Java運(yùn)行環(huán)境 slaves # 指定datanode數(shù)據(jù)存儲(chǔ)服務(wù)器 core-site.xml # hadoop-web界面路徑 hdfs-site.xml # 文件系統(tǒng)的配置文件 mapred-site.xml # mapreducer 任務(wù)配置文件 yarn-site.xml???????????#?yarn框架配置，主要一些任務(wù)的啟動(dòng)位置

• 修改文件

[hadoop@ chenc01 hadoop]$ vim hadoop-env.sh exprot JAVA_HOME=/usr/java/jdk1.8.0_13 [hadoop@ chenc01 hadoop]$ vim yarn-env.sh JAVA_HOME=/usr/java/jdk1.8.0_131 [hadoop@ chenc01 hadoop]$ vim slaves chenc02 chenc03

備注：這個(gè)是hadoop的核心配置，這里需要配置兩屬性， fs.default.name 配置hadoop的HDFS系統(tǒng)命令，位置為主機(jī)的9000端口， hadoop.tmp.dir 配置haddop的tmp目錄的根位置。

[hadoop@ chenc01 hadoop]$ vim core-site.xml<configuration> <property><name>fs.defaultFS</name><value>hdfs://chenc01:9000</value> </property><property><name>io.file.buffer.size</name><value>131072</value> </property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/tmp</value><description>Abase for other tmporary directries.</description> </property> </configuration>

備注：HDFS主要的配置文件， dfs.http.address配置了hdfs的http的訪問位置；

dfs.replication 配置文件的副本，一般不大于從機(jī)個(gè)數(shù)。

[hadoop@ chenc01 hadoop]$ vim hdfs-site.xml<configuration> <property> <configuration> <property><name>dfs.namenode.secondary.http-address</name><value>chenc01:9000</value> </property><property><name>dfs.namenode.name.dir</name><value>file:/home/hadoop/dfs/name</value> </property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop/dfs/data</value> </property><property><name>dfs.replication</name><value>2</value> </property><property><name>dfs.webhdfs.enabled</name><value>true</value> </property> </configuration>

備注：這個(gè)是mapreduce任務(wù)配置文件，mapreduce.framework.name 屬性下配置yarn,

mapred.map.tasks和mapred.reduce.tasks 分別為map和reduce 的任務(wù)數(shù)。同時(shí)指定hadoop歷史服務(wù)器hsitoryserver

我們可以通過historyserver查看mapreduce的作業(yè)記錄，比如用了多少個(gè)map,用了多少個(gè)reduce，作業(yè)啟動(dòng)時(shí)間，作業(yè)完成時(shí)間。默認(rèn)清空下，hadoop歷史服務(wù)器是沒有啟動(dòng)的，我們需要通過命令來啟動(dòng)。

[hadoop@ chenc01 ~]$ /home/hadoop/hadoop-3.1.3/sbin/mr-jobhistory-daemon.sh start historyserver /home/hadoop/hadoop-3.1.3/etc/hadoop/hadoop-env.sh: line 39: exprot: command not found WARNING: Use of this script to start the MR JobHistory daemon is deprecated. WARNING: Attempting to execute replacement "mapred --daemon start" instead. WARNING: /home/hadoop/hadoop-3.1.3/logs does not exist. Creating. [hadoop@ chenc01 hadoop]$ vim mapred-site.xml <configuration> <property><name>mapreduce.framework.name</name><value>yarn</value> </property><property><name>mapreduce.jobhistory.address</name><value>chenc01:10020</value> </property><property><name>mapreduce.jobhistory.webapp.address</name><value>chenc01:19888</value> </property> </configuration>

備注：yarn框架的配置，主要是一些任務(wù)的啟動(dòng)位置

[hadoop@ chenc01 hadoop]$ vim yarn-site.xml <configuration> <!-- Site specific YARN configuration properties --> <proetry><name>yarn.nodemanager.aux-service</name><value>mapreduce_shuffle</value> </proetry><proetry><name>yarn.nodemanager.uax-service.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapreduced.ShuffleHandle</value> </proetry> <proetry><name>yarn.resoucemanager.address</name><value>chenc01:8032</value> </proetry> <proetry><name>yarn.resourcemanager.shceduler.address</name><value>chenc01:8030</value> </proetry> <proetry><name>yarn.resourcemanager.resource-tracker.address</name><value>chenc01:8031</value> </proetry><proetry><name>yarn.resourcemanager.admin.address</name><value>chenc01:8033</value> </proetry><proetry><name>yarn.resourcemanager.webapp.address</name><value>chenc01:8088</value> </proetry> </configuration>

• datanode配置文件生成

[hadoop@ chenc01 hadoop]$ scp -r /home/hadoop/hadoop-3.13 hadoop@chenc02:~/ The authenticity of host 'chenc02 (10.0.0.62)' can't be established. RSA key fingerprint is 9b:57:b9:86:84:90:a4:4b:44:3e:18:9f:8a:29:6f:e5. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'chenc02,10.0.0.62' (RSA) to the list of known hosts. hadoop@chenc02's password: /home/hadoop/hadoop-3.13: No such file or directory [hadoop@ chenc01 hadoop]$ scp -r /home/hadoop/hadoop-3.13 hadoop@chenc03:~/ The authenticity of host 'chenc03 (10.0.0.63)' can't be established. RSA key fingerprint is 9b:57:b9:86:84:90:a4:4b:44:3e:18:9f:8a:29:6f:e5. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'chenc03,10.0.0.63' (RSA) to the list of known hosts. hadoop@chenc03's password: /home/hadoop/hadoop-3.13:?No?such?file?or?directory

• namenode格式化數(shù)據(jù)：

一般第一次的時(shí)候需要初始化，之后就不需要了

[hadoop@ chenc01 ~]$ cd /home/hadoop/hadoop-3.1.3/bin/ [hadoop@ chenc01 bin]$ ./hdfs namenode -format 2020-03-04 16:05:17,247 INFO namenode.FSImageFormatProtobuf: Image file /home/hadoop/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 393 bytes saved in 0 seconds . 2020-03-04 16:05:17,268 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 2020-03-04 16:05:17,277 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid = 0 when meet shutdown. 2020-03-04 16:05:17,278 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at xinsz08-1/192.168.1.18 ************************************************************/

• 查看是否生成相應(yīng)的內(nèi)容

[hadoop@ chenc01 ~]$ cd /home/hadoop/dfs/ [hadoop@ chenc01 dfs]$ ls data name [hadoop@ chenc01 dfs]$ tree . ├── data └── name└── current├── fsimage_0000000000000000000├── fsimage_0000000000000000000.md5├── seen_txid└── VERSION3?directories,?4?files

• 配置免密要登錄

[hadoop@ chenc01 dfs]$ ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/hadoop/.ssh/id_rsa. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. The key fingerprint is: cf:4f:4e:5e:8a:4f:7e:86:e9:f6:8c:8f:77:b9:69:50 hadoop@chenc01.localdomain The key's randomart image is: +--[ RSA 2048]----+ | | | | | | | E | | S . | | o . | | o +oo .| | X+*+oo| | .+@*=+.| +-----------------+ [hadoop@ chenc01 dfs]$ ssh-copy-id chenc02 [hadoop@ chenc01 dfs]$ ssh-copy-id chenc01 # 對(duì)自己也做一次 [hadoop@?chenc01?dfs]$?ssh-copy-id?chenc03

備注：方便后期復(fù)制文件或者啟動(dòng)服務(wù)。因?yàn)閚amenode啟動(dòng)時(shí)候，會(huì)鏈接到datanode上啟動(dòng)對(duì)應(yīng)的服務(wù)。

• 啟動(dòng)hdfs

[hadoop@ chenc01 dfs]$ /home/hadoop/hadoop-3.1.3/etc/hadoop報(bào)錯(cuò)：2020-03-04 16:16:45,394 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable解答：http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下載對(duì)應(yīng)版本 解壓，覆蓋hadoop下/lib/native/ 上傳之后解壓： [hadoop@ chenc01 ~]$ cd hadoop-3.1.3/lib/native/ [hadoop@ chenc01 native]$ ls examples libhadoop.so libhdfs.a libnativetask.a libhadoop.a libhadoop.so.1.0.0 libhdfs.so libnativetask.so libhadooppipes.a libhadooputils.a libhdfs.so.0.0.0 libnativetask.so.1.0.0 [hadoop@ chenc01 native]$ rz [hadoop@ chenc01 native]$ tar xf hadoop-native-64.tar [hadoop@ chenc01 native]$ ls examples libhadoop.so.1.0.0 libnativetask.a hadoop-native-64.tar libhadooputils.a libnativetask.so libhadoop.a libhdfs.a libnativetask.so.1.0.0 libhadooppipes.a libhdfs.so libhadoop.so??????????libhdfs.so.0.0.0

覆蓋完之后重啟

關(guān)閉之后在啟動(dòng)

[hadoop@ chenc01 ~]$ cd /home/hadoop/hadoop-3.1.3/etc/hadoop/ [hadoop@?chenc01?hadoop]$?../../sbin/stop-dfs.sh

• 啟動(dòng)yarn

也就是說我們要啟動(dòng) 分布式計(jì)算

[hadoop@ chenc01 hadoop]$ ../../sbin/start-yarn.sh [hadoop@?chenc01?hadoop]$?../../sbin/start-all.sh

• 啟動(dòng)jobhistory

[hadoop@?chenc01?hadoop]$?../../sbin/mr-jobhistory-daemon.sh?start?historyserver

• Web查看集群狀態(tài)

瀏覽器輸入http://10.0.0.61:8088/cluster

如果本文對(duì)你有幫助，請點(diǎn)右下角“在看”告訴我們！

《原力計(jì)劃【第二季】-?學(xué)習(xí)力挑戰(zhàn)》正式開始！即日起至?3月21日，千萬流量支持原創(chuàng)作者！更有專屬【勛章】等你來挑戰(zhàn)

推薦閱讀：時(shí)間復(fù)雜度的表示、分析、計(jì)算方法……一文帶你看懂時(shí)間復(fù)雜度！ Linux 會(huì)成為主流桌面操作系統(tǒng)嗎？ 識(shí)別率驚人的 GitHub 口罩檢測 | 原力計(jì)劃 西二旗大廠復(fù)工記 智能合約編寫之Solidity的基礎(chǔ)特性 Javascript函數(shù)之深入淺出遞歸思想，附案例與代碼！ 真香，朕在看了！

總結(jié)

以上是生活随笔為你收集整理的不看就亏系列！这里有完整的 Hadoop 集群搭建教程，和最易懂的 Hadoop 概念！| 附代码...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。