从hadoop-0.20.2升级到hadoop-1.0.3
由于要支持hbase0.92.0的一些新特性,需要對(duì)現(xiàn)有的hadoop進(jìn)行升級(jí)。升級(jí)流程如下:
1、關(guān)閉Hbase、Hive service、關(guān)閉hadoop集群;
2、執(zhí)行hadoop dfsadmin -upgradeProgress status,顯示There are no upgrades in progress,表示當(dāng)前沒(méi)有升級(jí)動(dòng)作;
3、執(zhí)行hadoop fs -lsr > /usr/local/cluster/namenode.log,執(zhí)行hadoop fsck / > /usr/local/cluster/fsck.log;生成這個(gè)兩個(gè)文件進(jìn)行集群升級(jí)前后的對(duì)比工作;
4、下載hadoop-1.0.3.tar.gz,并解壓到/usr/local/;
5、關(guān)閉hadoop集群,copy原來(lái)版本的master、slave、mapred-site.xml、core-site.xml、farischeduler.xml、hdfs-site.xml文件到新版本的conf目錄中;
6、手動(dòng)修改hadoop-env.sh,修改java路徑、pid路徑;
7、備份原來(lái)的hadoop存放namenode數(shù)據(jù)的目錄目錄,備份hadoop的namesecondary目錄;
8、配置新的環(huán)境變量,并使用source /etc/profile使之生效;
9、執(zhí)行start-dfs.sh -upgrade進(jìn)行升級(jí),可通過(guò)hadoop dfsadmin -upgradeProgress status查看狀態(tài),出現(xiàn)Upgrade for version -* has been completed表示升級(jí)成功;
10、把hadoop分發(fā)到各機(jī)器,并按照主服務(wù)器的配置進(jìn)行配置;
11、啟動(dòng)hadoop集群,并執(zhí)行hadoop fs -lsr >/usr/local/cluster/namenodenew.log、hadoop fsck / > /usr/local/cluster/fscknew.log生成文件;
12、對(duì)比升級(jí)前后文件,看是否有問(wèn)題;
13、檢查通過(guò)后hadoop dfsadmin -finalizeUpgrade升級(jí)完畢;不通過(guò)可使用stop-all.sh、start-dfs.sh -rollback進(jìn)行回滾;
有些比較瑣碎的步驟沒(méi)寫(xiě)出來(lái),本次升級(jí)花了我2個(gè)小時(shí)。
轉(zhuǎn)載于:https://www.cnblogs.com/frady/archive/2012/09/13/2683991.html
總結(jié)
以上是生活随笔為你收集整理的从hadoop-0.20.2升级到hadoop-1.0.3的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: Json(四):Json增、删、改
- 下一篇: Spring3 MVC+Spring+S