為什么80%的碼農都做不了架構師？>>> ??

HDFS( Hadoop Distributed File System) hadoop分布式文件系統

總的設計思想：

分而治之?---- 將大文件、大批量文件，分布式存放在大量獨立的服務器上，以便于采取分而治之的方式對海量數據進行運算分析；

重點概念：文件切塊，副本存放，元數據

HDFS的一些concept（概念）和特性

首先，它是一個文件系統，有一個統一的命名空間——目錄樹

其次，它是分布式的，由很多服務器聯合起來實現功能；

（1）hdfs文件系統會給客戶端提供一個統一的抽象目錄樹，客戶端訪問hdfs文件時就是通過指定這個抽象目錄中的路徑來訪問

（2）Hdfs中的文件都是分塊(block)存儲的，塊的大小可以通過配置參數(?dfs.blocksize)來規定，默認大小在hadoop2.x版本中是128M，老版本中是64M

（3）文件的各個block由誰來進行真實的存儲呢？----分布在各個datanode服務節點上，而且每一個block都可以存儲多個副本（副本數量也可以通過參數設置dfs.replication）

（4）Hdfs中有一個重要的角色：namenode，負責維護整個hdfs文件系統的目錄樹，以及每一個路徑（文件）所對應的block塊信息（block的id，及所在的datanode服務器）

（5）hdfs是設計成適應一次寫入，多次讀出的場景，并不支持文件的修改

(適合用來做數據分析)

(hdfs并不適合用來做網盤應用，因為，不便修改，延遲大，網絡開銷大，成本太高)

hdfs的shell(命令行客戶端)操作

-ls ?????????????????#顯示目錄信息

-->hadoop fs -ls hdfs://hadoop-server01:9000/

這些參數中，所有的hdfs路徑都可以簡寫

-->hadoop fs -ls / ??等同于上一條命令的效果

?

-mkdir ?????????????#在hdfs上創建目錄

-->hadoop fs -mkdir -p /aaa/bbb/cc/dd

?

-moveFromLocal ???????????#從本地剪切粘貼到hdfs

-moveToLocal ?????????????#從hdfs剪切粘貼到本地

?

--appendToFile ?----追加一個文件到已經存在的文件末尾

-->hadoop ?fs ?-appendToFile ?./hello.txt ?hdfs://hadoop-server01:9000/hello.txt

可以簡寫為：?Hadoop ?fs ?-appendToFile ?./hello.txt ?/hello.txt

-cat ?---顯示文件內容 ?

-->hadoop fs -cat ?/hello.txt

?

-chgrp / -chmod?/ -chown?將指定文件的擁有者改為指定的用戶或組

上面三個跟linux中的用法一樣?chown?[選項]...?[所有者][:[組]]?文件...?

-->hadoop fs -chmod 666 /hello.txt

?

-copyFromLocal ???#從本地文件系統中拷貝文件到hdfs路徑去

-->hadoop ?fs ?-copyFromLocal ?./jdk.tar.gz ?/aaa/

-copyToLocal ?????#從hdfs拷貝到本地

Eg： hadoop fs -copyToLocal /aaa/jdk.tar.gz

?

-count?????????#統計一個指定目錄下的文件節點數量

-->hadoop fs -count /aaa/

?

-cp ?????????????#從hdfs的一個路徑拷貝hdfs的另一個路徑

hadoop fs -cp ?/aaa/jdk.tar.gz ?/bbb/jdk.tar.gz.2

?

-createSnapshot?/ -deleteSnapshot?/ -renameSnapshot

以上三個用來操作hdfs文件系統目錄信息快照

-->hadoop fs -createSnapshot /

?

-df???????????????#統計文件系統的可用空間信息

-du

-->hadoop fs -df -h /

-->hadoop fs -du -s -h /aaa/*

?

-get ?????????????#等同于copyToLocal，就是從hdfs下載文件到本地

-getmerge ????????????#合并下載多個文件

-->?比如hdfs的目錄 /aaa/下有多個文件:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.* ./log.sum

?

-help ????????????#輸出這個命令參數手冊

-mv ????????????????????#在hdfs目錄中移動文件

-put ???????????????#等同于copyFromLocal

-rm ???????????????#刪除文件或文件夾

-->?hadoop fs -rm -r /aaa/bbb/

-rmdir ????????????????#刪除空目錄

-setrep ???????????????#設置hdfs中文件的副本數量

-->hadoop fs -setrep 3 /aaa/jdk.tar.gz

?

-stat ?????????????????#顯示一個文件或文件夾的元信息

-tail ?????????????????#顯示一個文件的末尾

-text ?????????????????#以字符形式打印一個文件的內容

轉載于:https://my.oschina.net/wxdl/blog/671992

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的大数据入门笔记(三)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。