Hadoop基礎(chǔ)-HDFS集群中大數(shù)據(jù)開發(fā)常用的命令總結(jié)

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版權(quán)聲明：原創(chuàng)作品，謝絕轉(zhuǎn)載！否則將追究法律責(zé)任。

?

　　本盤博客僅僅列出了我們在實際生成環(huán)境中常用的hdfs命令，如果想要了解更多，比如滾動編輯，融合鏡像文件，目錄的空間配額等運維操作，請參考我之前的筆記：https://www.cnblogs.com/yinzhengjie/p/9074730.html

?

1>.基本語法

[root@node105 ~]# hadoop fs

2>.查看hdfs的某個命令的幫助信息

[root@node105 ~]# hadoop fs -help put

3>.顯示某個目錄的信息

[root@node105 ~]# hadoop fs -ls /

4>.在hdfs上創(chuàng)建目錄

[hdfs@node105 ~]$ hadoop fs -mkdir /data

5>.將本地的文件剪切到hdfs集群上

6>.查看文件內(nèi)容

[hdfs@node105 ~]$ hadoop fs -cat /data/yinzhengjie.blog

7>.追加一個文件到hdfs中已經(jīng)存在的一個文件末尾

[hdfs@node105 ~]$ hadoop fs -appendToFile ./yinzhengjie.log /data/yinzhengjie.blog

8>.顯示一個文件的末尾

[hdfs@node105 ~]$ hadoop fs -tail /data/yinzhengjie.blog

9>.修改權(quán)限

[hdfs@node105 ~]$ hadoop fs -chmod 755 /data/yinzhengjie.blog

10>.修改文件的所屬者

[hdfs@node105 ~]$ hadoop fs -chown root:root /data/yinzhengjie.blog

11>.從本地文件系統(tǒng)拷貝文件到hdfs集群中

[hdfs@node105 ~]$ hadoop fs -copyFromLocal ./yinzhengjie.log /data

12>.從hdfs集群拷貝數(shù)據(jù)到本地

[hdfs@node105 ~]$ hadoop fs -copyToLocal /data/yinzhengjie.blog yinzhengjie.blog-2

13>.在hdfs集群中從一個目錄拷貝到另外一個目錄中

[hdfs@node105 ~]$ hadoop fs -cp /data/yinzhengjie.blog /yinzhengjie

14>.在hdfs就群中，從一個目錄移動到另外一個目錄

hdfs@node105 ~]$ hadoop fs -mv /yinzhengjie/yinzhengjie.blog /data/yinzhengjie.blog-2

15>.下載文件到本地

[hdfs@node105 ~]$ hadoop fs -get /data/yinzhengjie.blog-2 ./

16>.將hdfs中多個文件的內(nèi)容下載到本地并僅生成一個文件

[hdfs@node105 ~]$ hadoop fs -getmerge /yinzhengjie-data/* ./yinzhengjie.log

?

17>.將本地文件上傳的hdfs指定目錄并改名

[hdfs@node105 ~]$ hadoop fs -put ./yinzhengjie.log /yinzhengjie-data/merge.log

18>.刪除hdfs集群中國的某個文件或文件夾

[hdfs@node105 ~]$ hadoop fs -rm /yinzhengjie-data/yinzhengjie.blog-2

19>.刪除空的文件夾

[hdfs@node105 ~]$ hadoop fs -rmdir /data

20>.統(tǒng)計hdfs文件系統(tǒng)可用空間信息

[root@calculation101 ~]# hadoop fs -df -h /

21>.統(tǒng)計文件夾的大小信息

[hdfs@calculation101 ~]$ hadoop fs -du -h /user/

22>.設(shè)置hdfs文件中的副本數(shù)量

[root@calculation101 ~]# hadoop fs -setrep 10 /user/yinzhengjie_output/part-m-00000

?

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Hadoop基础-HDFS集群中大数据开发常用的命令总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。