hadoop(6)——mrjob的使用(2)——交给hadoop集群
                                                            生活随笔
收集整理的這篇文章主要介紹了
                                hadoop(6)——mrjob的使用(2)——交给hadoop集群
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.                        
                                (1)開啟hdfs和yarn服務
 
(2)查看寫好的文件(同上一篇hadoop(5))
 
 (3)執行命令
 
 (4)任務完成
 
 
 (5)查看output
 
ps:中間遇到了很多坑,比如說在執行該命令向前,一定要先hadoop fs -rm -r /output,不然已經建立了該文件夾hadoop會報錯
 還有就是如果在虛擬環境下創建該任務,除了(3)的命令外,一定要加上–
 python-bin +/python解釋器的位置參數
 還有就是一定要把safe模式關掉:hdfs dfsadmin -safemode leave
總結
以上是生活随笔為你收集整理的hadoop(6)——mrjob的使用(2)——交给hadoop集群的全部內容,希望文章能夠幫你解決所遇到的問題。
 
                            
                        - 上一篇: hadoop(5)——mrjob的使用(
- 下一篇: hive(1)——用mysql进行元数据
