mapper.py和reducer.py文件內容借鑒于如下博客： https://blog.csdn.net/marywang56/article/details/80395519

我們都知道hadoop是在java環境下完成的，但是通過hadoop-streaming這個java小程序，我們可以把python代碼放入hadoop中，然后通過stdin和stdout來進行數據的傳遞。
（1）開啟yarn
通過jps命令查看


（2）查看mapper.py和reducer.py

import sys # input comes from STDIN (standard input) for line in sys.stdin:line = line.strip()words = line.split()for word in words:print '%s\t%s' % (word, 1)

from operator import itemgetter import syscurrent_word = None current_count = 0 word = Nonefor line in sys.stdin:line = line.strip()word, count = line.split('\t', 1)try:count = int(count)except ValueError:continueif current_word == word:current_count += countelse:if current_word:print '%s\t%s' % (current_word, current_count)current_count = countcurrent_word = wordif current_word == word:print '%s\t%s' % (current_word, current_count)

（3）測試命令
<1>
先看hadoop.txt

<2>

可以看見mapper把每一個字符都分割了開來
<3>

可見sort函數將字母進行排序，對應hadoop里的shuffle過程
<4>

這時可以看見模擬出了最后輸出的結果，將一樣的詞合并作為輸出
（4）用hadoop來實現
此時要寫好腳本，如圖：

（5）實行腳本


任務實行結束
（6）查看輸出結果

（7）可視化查看

如圖，此運算例已經實行成功

總結

以上是生活随笔為你收集整理的hadoop（4）——用python代码结合hadoop完成一个小项目的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。