1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help

2、顯示關(guān)于某個(gè)命令的詳細(xì)信息

$ bin/hadoop fs -help command-name

3、用戶可使用以下命令在指定路徑下查看歷史日志匯總

$ bin/hadoop job -history output-dir #這條命令會(huì)顯示作業(yè)的細(xì)節(jié)信息，失敗和終止的任務(wù)細(xì)節(jié)。

4、關(guān)于作業(yè)的更多細(xì)節(jié)，比如成功的任務(wù)，以及對每個(gè)任務(wù)的所做的嘗試次數(shù)等可以用下面的命令查看 $ bin/hadoop job -history all output-dir

5、 格式化一個(gè)新的分布式文件系統(tǒng)： $ bin/hadoop namenode -format

6、在分配的NameNode 上，運(yùn)行下面的命令啟動(dòng)HDFS ：

?

$ bin/start-dfs.sh #腳本會(huì)參照NameNode 上

${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave 上啟動(dòng)DataNode 守護(hù)進(jìn)程。

7、在分配的JobTracker 上，運(yùn)行下面的命令啟動(dòng)Map/Reduce：

$ bin/start-mapred.sh #腳本會(huì)參照J(rèn)obTracker 上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave 上啟動(dòng)TaskTracker 守護(hù)進(jìn)程。

8、在分配的NameNode 上，執(zhí)行下面的命令停止HDFS ： $ bin/stop-dfs.sh #腳本會(huì)參照NameNode 上

${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave 上停止DataNode 守護(hù)進(jìn)程。

9、在分配的JobTracker 上，運(yùn)行下面的命令停止Map/Reduce：

$ bin/stop-mapred.sh #腳本會(huì)參照J(rèn)obTracker 上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave 上停止TaskTracker 守護(hù)進(jìn)程。

10、創(chuàng)建一個(gè)名為 /foodir 的目錄

$ bin/hadoop dfs -mkdir /foodir

11、創(chuàng)建一個(gè)名為 /foodir 的目錄

?

$ bin/hadoop dfs -mkdir /foodir

12、查看名為 /foodir/myfile.txt 的文件內(nèi)容 $ bin/hadoop dfs -cat /foodir/myfile.txt

13、將集群置于安全模式

$ bin/hadoop dfsadmin -safemode enter

14、顯示Datanode 列表

$ bin/hadoop dfsadmin -report

15、使Datanode 節(jié)點(diǎn)datanode name退役

$ bin/hadoop dfsadmin -decommission datanodename

16、bin/hadoop dfsadmin -help 命令能列出所有當(dāng)前支持的命令。

比如：

* -report ：報(bào)告HDFS 的基本統(tǒng)計(jì)信息。有些信息也可以在NameNode Web服務(wù)首頁看到。

* -safemode：雖然通常并不需要，但是管理員的確可以手動(dòng)讓NameNode 進(jìn)入或離開安全模式。

* -finalizeUpgrade ：刪除上一次升級(jí)時(shí)制作的集群備份。

17、顯式地將HDFS 置于安全模式

$ bin/hadoop dfsadmin -safemode

18、在升級(jí)之前，管理員需要用(升級(jí)終結(jié)操作) 命令刪除存在的備份文件

$ bin/hadoop dfsadmin -finalizeUpgrade

19、能夠知道是否需要對一個(gè)集群執(zhí)行升級(jí)終結(jié)操作。 $ dfsadmin -upgradeProgress status

20、使用-upgrade 選項(xiàng)運(yùn)行新的版本

$ bin/start-dfs.sh -upgrade

21、如果需要退回到老版本, 就必須停止集群并且部署老版本的Hadoop ，用回滾選項(xiàng)啟動(dòng)集群

$ bin/start-dfs.h -rollback

22、下面的新命令或新選項(xiàng)是用于支持配額，前兩個(gè)是管理員命令。

* dfsadmin -setquota ...

把每個(gè)目錄配額設(shè)為N 。這個(gè)命令會(huì)在每個(gè)目錄上嘗試，如果N 不是一個(gè)正的長整型數(shù)，目錄不存在或是文件名或者目錄超過配額則會(huì)產(chǎn)生錯(cuò)誤報(bào)告。

* dfsadmin -clrquota ...

?

為每個(gè)目錄刪除配額。這個(gè)命令會(huì)在每個(gè)目錄上嘗試，如果目錄不存在或者是文件，則會(huì)產(chǎn)生錯(cuò)誤報(bào)告。如果目錄原來沒有設(shè)置配額不會(huì)報(bào)錯(cuò)。

* fs -count -q ...

使用-q 選項(xiàng)，會(huì)報(bào)告每個(gè)目錄設(shè)置的配額以及剩余配額。如果目錄沒有設(shè)置配額，會(huì)報(bào)告none 和inf 。

23、創(chuàng)建一個(gè)hadoop 檔案文件

$ hadoop archive -archiveName NAME *

#-archiveName NAME 要?jiǎng)?chuàng)建的檔案的名字。

#src 文件系統(tǒng)的路徑名，和通常含正則表達(dá)的一樣。 #dest 保存檔案文件的目標(biāo)目錄。

24、遞歸地拷貝文件或目錄

$ hadoop distcp

srcurl 源uri

desturl 目標(biāo)uri

25、運(yùn)行HDFS 文件系統(tǒng)檢查工具(fsck tools)

用法：hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

命令選項(xiàng) 描述

----------------------

檢查的起始目錄。

-move 移動(dòng)受損文件到/lost+found

-delete 刪除受損文件。

-openforwrite 打印出寫打開的文件。

-files 打印出正被檢查的文件。

-blocks 打印出塊信息報(bào)告。

-locations 打印出每個(gè)塊的位置信息。

-racks 打印出data-node 的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

26、用于和Map Reduce作業(yè)交互和命令(jar)

用法：hadoop job [GENERIC_OPTIONS] [-submit ] |

[-counter ] | [-kill ] |

[-events <#-of-events>] | [-history [all] ] |

[-list [all]] | [-kill-task ] | [-fail-task ] 命令選項(xiàng) 描述

------------------ [-status ] |

-submit 提交作業(yè)

-status 打印map 和reduce 完成百分比和所有計(jì)數(shù)器 -counter 打印計(jì)數(shù)器的值

-kill 殺死指定作業(yè)

-events <#-of-events> 打印給定范圍內(nèi)jobtracker 接收到的事件細(xì)節(jié)

-history [all] -history 打印作業(yè)的細(xì)節(jié)、失敗及被殺死原因的細(xì)節(jié)

-list [all] -list all 顯示所有作業(yè) -list只顯示將要完成的作業(yè)

-kill-task 殺死任務(wù)被殺死的任務(wù)不會(huì)不利于失敗嘗試

-fail-task 使任務(wù)失敗 被失敗的任務(wù)會(huì)對失敗嘗試不利

27、運(yùn)行pipes 作業(yè)

用法：hadoop pipes [-conf ] [-jobconf , , ...]

[-input ]

[-output ] [-jar ] [-inputformat ] [-map ]

[-partitioner ]

[-reduce ] [-writer ] [-program ] [-reduces ] 命令選項(xiàng) 描述

------------------

-conf 作業(yè)的配置

-jobconf , , ... 增加/覆蓋作業(yè)的配置項(xiàng) -input 輸入目錄

-output 輸出目錄

-jar Jar文件名

-inputformat InputFormat類

-map Java Map類

-partitioner Java Partitioner

-reduce Java Reduce類

-writer Java RecordWriter

-program 可執(zhí)行程序的URI

-reduces reduce個(gè)數(shù)

28、打印版本信息。

用法：hadoop version

29、hadoop 腳本可用于調(diào)調(diào)用任何類。

用法：hadoop CLASSNAME #運(yùn)行名字為CLASSNAME 的類。

30、運(yùn)行集群平衡工具管理員可以簡單的按Ctrl-C 來停止平衡過程(balancer)

用法：hadoop balancer [-threshold ]

命令選項(xiàng) 描述

------------------

-threshold 磁盤容量的百分比。這會(huì)覆蓋缺省的閥值。

31、獲取或設(shè)置每個(gè)守護(hù)進(jìn)程的日志級(jí)別(daemonlog)。 用法：hadoop daemonlog -getlevel

用法：hadoop daemonlog -setlevel

命令選項(xiàng) 描述

------------------

-getlevel 打印運(yùn)行在的守護(hù)進(jìn)程的日志級(jí)別 -setlevel 設(shè)置運(yùn)行在的守護(hù)進(jìn)程的日志級(jí)別

32、運(yùn)行一個(gè)HDFS 的datanode 。

用法：hadoop datanode [-rollback]

命令選項(xiàng) 描述

------------------

-rollback 將datanode 回滾到前一個(gè)版本。這需要在停止datanode ，分發(fā)老的hadoop 版本之后使用。

33、運(yùn)行一個(gè)HDFS 的dfsadmin 客戶端

用法：hadoop dfsadmin [GENERIC_OPTIONS] [-report]

[-safemode enter | leave

| get | wait] [-refreshNodes] [-finalizeUpgrade]

[-upgradeProgress status |

details | force] [-metasave filename]

[-setQuota ...] [-clrQuota ...] [-help [cmd]]

34、運(yùn)行MapReduce job Tracker節(jié)點(diǎn)(jobtracker)。 用法：hadoop jobtracker

35、運(yùn)行namenode 。有關(guān)升級(jí)，回滾，升級(jí)終結(jié)的更多信息請參考官方升級(jí)和回滾的文檔信息

用法：hadoop namenode [-format] | [-upgrade] |

[-rollback] | [-finalize] | [-importCheckpoint]

命令選項(xiàng) 描述

-----------------------------------------------------------------------------------------------------------------------------

-format 格式化namenode 。它啟動(dòng)namenode ，格式化namenode ，之后關(guān)閉namenode

-upgrade 分發(fā)新版本的hadoop 后，namenode 應(yīng)以u(píng)pgrade 選項(xiàng)啟動(dòng)

-rollback 將namenode 回滾到前一版本。這個(gè)選項(xiàng)要在停止集群，分發(fā)老的hadoop 版本后使用

-finalize finalize 會(huì)刪除文件系統(tǒng)的前一狀態(tài)。最近的升級(jí)會(huì)被持久化，rollback 選項(xiàng)將再不可用，升級(jí)終結(jié)操作之后會(huì)停掉namenode

-importCheckpoint 從檢查點(diǎn)目錄裝載鏡像并保存到當(dāng)前檢查點(diǎn)目錄，檢查點(diǎn)目錄由fs.checkpoint.dir 指定

36、運(yùn)行HDFS 的secondary namenode。

用法：hadoop secondarynamenode [-checkpoint

[force]] | [-geteditsize]

-----------------

命令選項(xiàng) 描述

-checkpoint [force] 如果EditLog 的大小>=

fs.checkpoint.size 啟動(dòng)Secondary namenode的檢查點(diǎn)過程。若使用了-force 將不考慮EditLog 的大小

-geteditsize 打印EditLog 大小。

37、運(yùn)行MapReduce 的task Tracker節(jié)點(diǎn)。 用法：hadoop tasktracker

38、顯式地將HDFS 置于安全模式

$ bin/hadoop dfsadmin -safemode

39、在升級(jí)之前，管理員需要用(升級(jí)終結(jié)操作) 命令刪除存在的備份文件

$ bin/hadoop dfsadmin -finalizeUpgrade

40、能夠知道是否需要對一個(gè)集群執(zhí)行升級(jí)終結(jié)操作。 $ dfsadmin -upgradeProgress status

41、使用-upgrade 選項(xiàng)運(yùn)行新的版本

$ bin/start-dfs.sh -upgrade

42、如果需要退回到老版本, 就必須停止集群并且部署老版本的Hadoop ，用回滾選項(xiàng)啟動(dòng)集群

$ bin/start-dfs.h -rollback

轉(zhuǎn)載于:https://www.cnblogs.com/xiaolebailetu/p/10027603.html

總結(jié)

以上是生活随笔為你收集整理的hadoop运维必备命令的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。