轉(zhuǎn)自：http://www.cnblogs.com/luogankun/p/4019303.html

hadoop jobhistory記錄下已運(yùn)行完的MapReduce作業(yè)信息并存放在指定的HDFS目錄下，默認(rèn)情況下是沒(méi)有啟動(dòng)的，需要配置完后手工啟動(dòng)服務(wù)。

mapred-site.xml添加如下配置

<property><name>mapreduce.jobhistory.address</name><value>hadoop000:10020</value><description>MapReduce JobHistory Server IPC host:port</description> </property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop000:19888</value><description>MapReduce JobHistory Server Web UI host:port</description> </property><property><name>mapreduce.jobhistory.done-dir</name><value>/history/done</value> </property><property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/history/done_intermediate</value></property>

啟動(dòng)history-server：

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

停止history-server：

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver

history-server啟動(dòng)之后，可以通過(guò)瀏覽器訪問(wèn)WEBUI: hadoop000:19888

在hdfs上會(huì)生成兩個(gè)目錄

hadoop fs -ls /historydrwxrwx--- - spark supergroup 0 2014-10-11 15:11 /history/done drwxrwxrwt - spark supergroup 0 2014-10-11 15:16 /history/done_intermediate

mapreduce.jobhistory.done-dir(/history/done): Directory where history files are managed by the MR JobHistory Server(已完成作業(yè)信息)
mapreduce.jobhistory.intermediate-done-dir(/history/done_intermediate): Directory where history files are written by MapReduce jobs.(正在運(yùn)行作業(yè)信息)

測(cè)試：

通過(guò)hive查詢(xún)city表觀察hdfs文件目錄和hadoop000:19888

hive> select id, name from city;

觀察hdfs文件目錄：

1）歷史作業(yè)記錄是按照年/月/日的形式分別存放在相應(yīng)的目錄（/history/done/2014/10/11/000000）；

2）每個(gè)作業(yè)有2個(gè)不同的后綴名的記錄：jhist和xml

hadoop fs -ls /history/done/2014/10/11/000000 -rwxrwx--- 1 spark supergroup 22572 2014-10-11 15:23 /history/done/2014/10/11/000000/job_1413011730351_0002-1413012208648-spark-select+id%2C+name+from+city%28Stage%2D1%29-1413012224777-1-0-SUCCEEDED-root.spark-1413012216261.jhist -rwxrwx--- 1 spark supergroup 160149 2014-10-11 15:23 /history/done/2014/10/11/000000/job_1413011730351_0002_conf.xml

觀察WEBUI: hadoop000:19888

在WEBUI中展現(xiàn)了每個(gè)job使用的Map/Reduce的數(shù)量、作業(yè)提交時(shí)間、作業(yè)啟動(dòng)時(shí)間、作業(yè)完成時(shí)間、Job ID、提交人User、隊(duì)列等信息；

點(diǎn)擊【job_1413011730351_0002】彈出頁(yè)面顯示類(lèi)似信息：Aggregation is not enabled. Try the nodemanager at ......

解決方法：?yarn-site.xml添加如下配置

<property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>

重啟yarn即可。

總結(jié)

以上是生活随笔為你收集整理的Hadoop JobHistory的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。