mapreduce,map后面跟map是什么操作???
生活随笔
收集整理的這篇文章主要介紹了
mapreduce,map后面跟map是什么操作???
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
今天在一個群里和網友爭論一個問題。
先說問題的起源,一網友說map后面跟map怎么實現?
剛開始沒細想,說了一個map跟map?reduce后跟map吧?
然后就被懟了,什么呀?是map后跟reduce好吧?xxxx
我去。。。
說不知道map后跟reduce。。。我就跟他詳細說了一下,
然后懟這樣寫沒意義?
真是然后轉移話題,我們說的map后跟map,我說一樣呀,一樣的道理。
map輸出做第二個map輸入。
額又說不會重復處理?
然后又說道你這就沒shuffer了,沒有意義了。不是mapreduce了.
我。。。
在清洗彈幕數據,去不相關的列和空值,https://georgedage.blog.csdn.net/article/details/103287800
中就沒有用到reduce。。。
并且在之前我的編碼中,我用到過兩個mapreduce,所以我知道有這樣的寫法,當然不是好方法,最好的是對一次的mr做優化。
然后那位當事人一直不說話了。
我就嗯。。。
溜了溜了,歡迎討論,接受建議!!!
超強干貨來襲 云風專訪:近40年碼齡,通宵達旦的技術人生總結
以上是生活随笔為你收集整理的mapreduce,map后面跟map是什么操作???的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 大剑无锋之new一个对象背后发生了什么?
- 下一篇: 一文彻底了解Logstash