linux下运行hadoop,Linux环境下hadoop运行平台的搭建
1、hadoop版本認(rèn)識(shí)
截至目前(2012年12月23日),Apache Hadoop版本分為兩代,我們將第一代Hadoop稱(chēng)為Hadoop 1.0,第二代Hadoop稱(chēng)為Hadoop 2.0。第一代Hadoop包含三個(gè)大版本,分別是0.20.x,0.21.x和0.22.x,其中,0.20.x最后演化成1.0.x,變成了穩(wěn)定版,而0.21.x和0.22.x 則支持NameNode HA等新的重大特性。第二代Hadoop包含兩個(gè)版本,分別是0.23.x和2.x,它們完全不同于Hadoop 1.0,是一套全新的架構(gòu),均包含HDFS Federation和YARN兩個(gè)系統(tǒng),相比于0.23.x,2.x增加了NameNode HA和Wire-compatibility兩個(gè)重大特性。
1版本:主要基于原來(lái)的技術(shù)的升級(jí)和發(fā)展,同時(shí)支持其它技術(shù)的支持。如果想用hbase、hive等技術(shù)就只有選擇版本1。
2版本:主要基于新技術(shù)的推廣發(fā)展,如果只是基于hadoop開(kāi)發(fā),這個(gè)是一個(gè)很好的選擇。
2、hadoop-1.2.1軟件包的認(rèn)識(shí)
bin目錄:包含進(jìn)行hadoop配置、運(yùn)行以及管理的命
令集合。
conf目錄:包含配置和運(yùn)行hadoop環(huán)境需要的配置文
件以及示例文件集合。
hadoop-examples-1.2.1.jar
3、Linux環(huán)境下安裝Hadoop的前提準(zhǔn)備(Ubuntu12.04)
(1)安裝Java的JDK
軟件包為:jdk-7u45-linux-x64.gz
這里采用的解壓直接配置的方式進(jìn)行安裝,除此之外還有二進(jìn)制安裝方式
<1> 解壓并分解軟件包(用tar將解壓后的單一文件進(jìn)行分解)
<2> 配置Java環(huán)境變量,主要JA V A_HOME、PA TH、CLASSPA TH三個(gè)環(huán)境變量
在/etc/profile文件添加以下語(yǔ)句
總結(jié)
以上是生活随笔為你收集整理的linux下运行hadoop,Linux环境下hadoop运行平台的搭建的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: mini2440 u-boot linu
- 下一篇: linux读取每条内存使用,Linux