2021大數據領域優質創作博客，帶你從入門到精通，該博客每天更新，逐漸完善大數據各個知識體系的文章，幫助大家更高效學習。

有對大數據感興趣的可以關注微信公眾號：三幫大數據

目錄

HDFS的高級使用命令

HDFS的安全模式

HDFS基準測試

測試寫入速度

?測試hdfs的讀取文件性能測試讀取速度

清除測試數據

---

HDFS的高級使用命令

HDFS的安全模式

安全模式是hadoop的一種保護機制，用于保證集群中的數據塊的安全性。當集群啟動的時候，會首先進入安全模式。當系統處于安全模式時會檢查數據塊的完整性。

假設我們設置的副本數（即參數dfs.replication）是3，那么在datanode上就應該有3個副本存在，假設只存在2個副本，那么比例就是2/3=0.666。hdfs默認的副本率0.999。我們的副本率0.666明顯小于0.999，因此系統會自動的復制副本到其他dataNode，使得副本率不小于0.999。如果系統中有5個副本，超過我們設定的3個副本，那么系統也會刪除多于的2個副本。

在安全模式狀態下，文件系統只接受讀數據請求，而不接受刪除、修改等變更請求。在當整個系統達到安全標準時，HDFS自動離開安全模式。

安全模式操作命令

hdfs ?dfsadmin -safemode ?get #查看安全模式狀態hdfs ?dfsadmin -safemode ?enter #進入安全模式hdfs ?dfsadmin -safemode ?leave #離開安全模式

HDFS基準測試

實際生產環境當中，hadoop的環境搭建完成之后，第一件事情就是進行壓力測試，測試我們的集群的讀取和寫入速度，測試我們的網絡帶寬是否足夠等一些基準測試

測試寫入速度

向HDFS文件系統中寫入數據,10個文件,每個文件10MB,文件存放到/benchmarks/TestDFSIO中

hadoop jar /export/server/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar??TestDFSIO -write -nrFiles 10??-fileSize 10MB?

完成之后查看寫入速度結果

hadoop fs -text /benchmarks/TestDFSIO/io_write/part-00000

?測試hdfs的讀取文件性能測試讀取速度

在HDFS文件系統中讀入10個文件,每個文件10M

hadoop jar /export/server/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar??TestDFSIO -read -nrFiles 10?-fileSize 10MB

查看讀取果

hadoop fs -text /benchmarks/TestDFSIO/io_read/part-00000

清除測試數據

hadoop jar /export/server/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar???TestDFSIO -clean

---

• 📢博客主頁：https://lansonli.blog.csdn.net
• 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正！
• 📢本文由 Lansonli 原創，首發于 CSDN博客🙉
• 📢大數據系列文章會每天更新，停下休息的時候不要忘了別人還在奔跑，希望大家抓緊時間學習，全力奔赴更美好的生活?

總結

以上是生活随笔為你收集整理的2021年大数据Hadoop（九）：HDFS的高级使用命令的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。