簡單記錄幾個hdfs的運維命令

//查看hdfs的狀態，是否有missing block，corrupt block等，也可以看datanode的狀態 hdfs dfsadmin -report //查看hdfs根目錄下是否有文件處于missing,currupt狀態，而且不是under replica的 hadoop fsck / | egrep -v '^\.+$' | grep -v eplica //查看某個文件中，包含的block hadoop fsck /path/to/corrupt/file -locations -blocks -files

?

提交一個hadoop wordcount作業，在mapreduce v1中ssh <gateway_host> find / -name hadoop-*-examples.jar touch input cat a>>input cat b>>input hadoop fs -put input /tmp/input hadoop jar /<find-dir>/hadoop-mapreduce-examples.jar wordcount /tmp/input /tmp/output

?

轉載于:https://www.cnblogs.com/yanghuahui/p/4632513.html

總結

以上是生活随笔為你收集整理的Hadoop运维的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。