戳藍字“CSDN云計算”關注我們哦！

?

作者：安靜的技術控?

來源：CSDN?

原文：

https://blog.csdn.net/a2011480169/article/details/52924955?

版權聲明：本文為博主原創文章，轉載請附上博文鏈接！

現在大數據是越來越火了，而我自己研究這方面也很長時間了，今天就根據我自己的經驗教會大家學會如何使用MapReduce，下文中將MapReduce簡寫為MR。

本篇博客將結合實際案例來具體說明MR的每一個知識點。

1、本篇博客核心內容

2、MR的基本概念

3、MR中map函數和reduce函數如何編寫

4、MR程序的基本編寫流程(MR的基本執行過程)

下面將用一個具體的電信業務說明MR最基本的編寫過程：
實驗所用數據:

具體字段描述:

業務要求:統計同一個用戶的上行總流量和，下行總流量和以及上下總流量和
例如：

代碼示例：

運行結果：

5、MR程序的優化方式1---分區

具體業務描述：對于上面的電信數據，統計同一個用戶的上行總流量和，下行總流量和以及上下總流量和，并且手機號(11位)的信息輸出到一個文件中，非手機號(8位)的信息輸出到一個文件中

代碼示例

運行結果：

6、MR程序的優化方式2---自定義排序

業務描述:
對于上面業務得到的統計結果:

---

先按照總流量由低到高排序，在總流量相同的情況下，按照下行流量和從低到高排序:

實例代碼:

運行結果:

7、MR程序的優化方式3---本地歸并Combine

具體業務描述：對于上面的電信數據，統計同一個用戶的上行總流量和，下行總流量和以及上下總流量和，代碼中要求加入本地歸并優化方式:
代碼示例：

運行結果：

8、MR程序的優化方式4---自定義計數器

9、如何用MR實現某個業務的方式總結

1.微信群：

添加小編微信：color_ld，備注“進群+姓名+公司職位”即可，加入【云計算學習交流群】，和志同道合的朋友們共同打卡學習！

2.征稿：

投稿郵箱：liudan@csdn.net；微信號：color_ld。請備注投稿+姓名+公司職位。

推薦閱讀

• 云計算到底是怎么玩的？

• 面向對象編程，再見！

• AI女性界的“扛把子”，憑一己之力迫使NIPS改名

• 00后也會「玩」區塊鏈，你對「朝陽」行業焦慮啥 ？| 圣誕特輯
  

• 20k~65k, 2018年最后一波熱門技術崗位, 立刻投簡歷, 跳槽才是加薪的捷徑
  

• 可替代Android的6大開源移動操作系統

• 程序員求助：被領導強行要求寫Bug該怎么辦？網友的回答讓我笑翻
  

點擊“閱讀原文”，查看原文

喜歡就點擊“好看”吧！

總結

以上是生活随笔為你收集整理的深入理解与应用Hadoop中的MapReduce的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。