Hadoop Stream Python mapper或reducer添加参数
生活随笔
收集整理的這篇文章主要介紹了
Hadoop Stream Python mapper或reducer添加参数
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
在-mapper后面,應該跟的是一個命令而不是一個文件名。
之前寫的格式是:
-mapper ./mapper_single.py
但其實執行的是./mapper_single.py命令(mapper_single.py需要有可執行權限)。
因此,需要對mapper或reducer傳參數的時候,可以將這個命令用引號(單引號或雙引號)擴住:
-reducer "./reducer_single_debug.py vid_can_3.txt"
或:
-reducer "python reducer_single_debug.py vid_can_3.txt"
參考鏈接:
http://www.cnblogs.com/joyeecheung/p/3760386.html
總結
以上是生活随笔為你收集整理的Hadoop Stream Python mapper或reducer添加参数的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python字符编码导致dict中key
- 下一篇: Hadoop中-put和-copyFro