hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask錯(cuò)誤

起因

使用hive做join查詢，a表十幾萬(wàn)數(shù)據(jù)，b表1kw多點(diǎn)數(shù)據(jù)，結(jié)果跑起來(lái)就是跑一半返回錯(cuò)誤，提示如下：

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

嘗試

• 實(shí)在是沒(méi)什么解決辦法，然后咨詢了別人，說(shuō)看看是不是有不合理數(shù)據(jù)，然后查了一下，去掉了一個(gè)空數(shù)據(jù)……然后重新跑，還是不行
• 谷歌之，看到這個(gè)網(wǎng)頁(yè)，意思是這并不是真的錯(cuò)誤，需要去看日志。然后同事去看了日志，沒(méi)看到什么東西
• 再考慮是不是隊(duì)列的事情，結(jié)果換了個(gè)隊(duì)列，依然是同樣的錯(cuò)誤

解決

這個(gè)時(shí)候我真的開始懷疑是不是數(shù)據(jù)過(guò)大了……雖然理論上倒是不應(yīng)該，然后同事說(shuō)要不你試一下?lián)Q個(gè)引擎，然后把引擎換成了Tez，你媽嗨，22s跑出來(lái)了結(jié)果……擦

這讓我情何以堪？就換個(gè)引擎，你至于差別這么大么，Map-Reduce和Tez讓我感覺(jué)實(shí)在是太吃驚了

所以再遇到這個(gè)問(wèn)題，確認(rèn)數(shù)據(jù)沒(méi)問(wèn)題，命令沒(méi)問(wèn)題的同學(xué)，可以試試這個(gè)辦法。

感想

解決問(wèn)題的思路，有時(shí)候卡住了可以換個(gè)思路，這條路堵住了，看看其他的辦法

總結(jié)

以上是生活随笔為你收集整理的hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。