1、一直處理running狀態

2、 at com.sun.proxy.$Proxy14.submitApplication(Unknown Source)
at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.submitApplication(YarnClientImpl.java:253)
at org.apache.hadoop.mapred.ResourceMgrDelegate.submitApplication(ResourceMgrDelegate.java:290)
at org.apache.hadoop.mapred.YARNRunner.submitJob(YARNRunner.java:290)
... 22 more
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException): Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=1024
at org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerUtils.validateResourceRequest(SchedulerUtils.java:268)

解決方法如下：

修改yarn-site.xml文件：

yarn.scheduler.maximum-allocation-mb
yarn.nodemanager.resource.memory-mb
將這兩項的配置改為 2000M， 注意單位是 兆字節M 和 吉字節G

當前配置：

? <property>
? ? <name>yarn.scheduler.maximum-allocation-mb</name>
? ? <value>2000</value>
? </property>
? ? <property>
? ? <name>yarn.nodemanager.resource.memory-mb</name>
? ? <value>2000</value>
? </property>
? <property>
? ? ?<name>yarn.nodemanager.resource.cpu-vcores</name>
? ? ?<value>1</value>
? </property>

總結

以上是生活随笔為你收集整理的hadoop学习6 运行map reduce出错的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。