MapReduce 作业调试
1. 最經(jīng)典的方法通過(guò)打印語(yǔ)句來(lái)調(diào)試程序
??? System.err.println("Bad Data"+value.toString());
??? 這些輸出錯(cuò)誤都會(huì)記錄到一個(gè)標(biāo)準(zhǔn)錯(cuò)誤中,可以通過(guò)WebUI進(jìn)行查看
2.可以創(chuàng)建一個(gè)自定義計(jì)數(shù)器來(lái)統(tǒng)計(jì)整個(gè)數(shù)據(jù)集中不合理的數(shù)據(jù)的數(shù)量。
? 首先創(chuàng)建一個(gè)enum?
? enum BAD_DATA{
????? BAD_DATA_1,
????? BAD_DATA_2
? }
if(strs[1].split(",")!=null&&strs[1].split(",").length>11){
???? frontValues.add(strs[1].split(",")[10]);
???? afterValues.add(strs[1].split(",")[11]);
}else{
System.err.println("Bad Data:"+value.toString());
?? ?? context.getCounter(BAD_DATA.BAD_DATA_1).increment(1);
?? ?? context.setStatus("Error Data");
}
也可以通過(guò)WEB UI 查看計(jì)數(shù)器的個(gè)數(shù)
?
?
?
轉(zhuǎn)載于:https://www.cnblogs.com/oftenlin/p/3592120.html
總結(jié)
以上是生活随笔為你收集整理的MapReduce 作业调试的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 超强扒站神器:SiteSucker Pr
- 下一篇: 下载和安装R、RStudio !~~~