Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现（十八）...
?? ?首先，來說的是，reduce并發任務數，默認是1。
即，在jps后，出現一個yarnchild。之后又消失。
?
? ??
?
?
?這里，我控制reduce并發任務數6。
?
?
有多少個reduce的并發任務數可以在程序里控制，但有多少個map的并發任務數還沒。
其實啊，有多少個map的并發任務數還沒（是在分片中控制的）。
?
?
?
?
?
?
1、現在，我們控制為map的并發任務數為4。（即是在分片中控制）
?
?
?
?
2、 jps -> ? 生成個Runjar? ->?
?
?
?
?
?
3、jps -> 生成個Runjar? ->? 生成個MRAppMaster（運行map任務）
soga
?
?
?
?
4、 jps ?-> ?生成個Runjar? ->? 生成個MRAppMaster（運行map任務） -> 查看map并發任務數 ->
?
?
5、?jps ?-> 生成個Runjar? ->? 生成個MRAppMaster（運行map任務） -> 查看map并發任務數 ->? Map的Task進程被回收? ->查看reduce并發任務數 -> Reduce的Task進程被回收 –> jps
?
以上是單獨控制了Mapreduce的map并發任務數和reduce并發任務數。
?
?
?
?
總結
前者Mapreduce的map并發任務數默認是1，控制reduce并發任務數為6。
后者控制map并發任務數為4，Mapreduce的reduce并發任務數默認是1。
綜合即控制map，又控制reduce，不再贅述。
?
?
本文轉自大數據躺過的坑博客園博客，原文鏈接：http://www.cnblogs.com/zlslch/p/5713652.html，如需轉載請自行聯系原作者
總結
以上是生活随笔為你收集整理的Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现（十八）...的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Ubuntu中安装Pycharm
- 下一篇： Module Zero之用户管理