Hadoop之HDFS常用Shell命令

---

啟動(dòng)Hadoop集群

sbin/start-dfs.shsbin/start-yarn.sh

-help：輸出這個(gè)命令參數(shù)

hadoop fs -help rm

-ls: 顯示目錄信息

hadoop fs -ls /

-mkdir：在hdfs上創(chuàng)建目錄

hadoop fs -mkdir -p /hadoop

-moveFromLocal從本地剪切粘貼到hdfs

hadoop fs -moveFromLocal ./hh.txt /hadoop

-cat：顯示文件內(nèi)容

hadoop fs -cat /hadoop/hh.txt

-tail：顯示一個(gè)文件的末尾

adoop fs -tail /hadoop/hh.txt

-chgrp 、-chmod、-chown：linux文件系統(tǒng)中的用法一樣，修改文件所屬權(quán)限

hadoop fs -chmod 666 /hadoop/hh.txt hadoop fs -chown centos:centos /hadoop/hh.txt

-copyFromLocal：從本地文件系統(tǒng)中拷貝文件到hdfs路徑去

hadoop fs -copyFromLocal README.txt /

-copyToLocal：從hdfs拷貝到本地

hadoop fs -copyToLocal /hadoop/hh.txt ./

-cp ：從hdfs的一個(gè)路徑拷貝到hdfs的另一個(gè)路徑

hadoop fs -cp /hadoop/hh.txt /admin/hah.txt

-mv：在hdfs目錄中移動(dòng)文件

hadoop fs -mv /hh.txt /admin

-get：等同于copyToLocal，就是從hdfs下載文件到本地

hadoop fs -get /hadoop/hh.txt ./

-getmerge ：合并下載多個(gè)文件，比如hdfs的目錄 /aaa/下有多個(gè)文件:log.1, log.2,log.3,…

hadoop fs -getmerge /user/test/* ./hh.txt

-put：等同于copyFromLocal

hadoop fs -put ./zaiyiqi.txt /user/test/

-rm：刪除文件或文件夾

hadoop fs -rm /user/test/jinlian2.txt

-rmdir：刪除空目錄

hadoop fs -rmdir /test

-du統(tǒng)計(jì)文件夾的大小信息

hadoop fs -du -s -h /user/test

-setrep：設(shè)置hdfs中文件的副本數(shù)量

hadoop fs -setrep 10 /hadoop/hh.txt

這里設(shè)置的副本數(shù)只是記錄在NameNode的元數(shù)據(jù)中，是否真的會(huì)有這么多副本，還得看DataNode的數(shù)量。因?yàn)槟壳爸挥?臺(tái)設(shè)備，最多也就3個(gè)副本，只有節(jié)點(diǎn)數(shù)的增加到10臺(tái)時(shí)，副本數(shù)才能達(dá)到10。

---

hadoop fs、hadoop dfs與hdfs dfs命令的區(qū)別

Hadoop fs：使用面最廣，可以操作任何文件系統(tǒng)。
hadoop dfs與hdfs dfs：只能操作HDFS文件系統(tǒng)相關(guān)（包括與Local FS間的操作），前者已經(jīng)Deprecated，一般使用后者。

總結(jié)

以上是生活随笔為你收集整理的Hadoop之HDFS常用Shell命令的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。