CDH簡(jiǎn)單了解

CDH: C：cloudera(公司) D：distribute H：Hadoop

解決了大數(shù)據(jù)Hadoop 2.x生態(tài)系統(tǒng)中各個(gè)框架的版本兼容問(wèn)題，不用自己編譯, CDH適合商用，版本更新比較慢，也可以選擇其他版本。

CDH版本的安裝

在線：不推薦，受網(wǎng)速影響

離線：rpm包，tar包

之前已經(jīng)安裝使用過(guò)Apache版本的Hadoop，這次為了區(qū)分，我們?cè)賳为?dú)見(jiàn)一個(gè)cdh目錄，用于安裝cdh版本的Hadoop、Hive和Sqoop。在使用sqoop需要先部署CDH版本的Hadoop&Hive，CDH版本和apache版本的服務(wù)不要混用，只開(kāi)啟CDH或者只開(kāi)啟apache服務(wù)就可以。

安裝過(guò)程(YUM源已安裝好、系統(tǒng)版本CentOS6.5、java版本是1.7)

首先我們先創(chuàng)建好目錄

準(zhǔn)備好安裝包

創(chuàng)建目錄 mkdir –p /opt/bigdata

解壓安裝包

tar -zxvf sqoop-1.4.5-cdh5.3.6.tar.gz -C /opt/bigdata/

tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz -C /opt/bigdata/

tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/bigdata/

我們進(jìn)入hadoop目錄，把share下doc目錄東西刪除掉，這個(gè)用處不大

配置三個(gè)env(hadoop,mapred,yarn)文件

export JAVA_HOME= /usr/lib/jvm/java-1.7.0-openjdk.x86_64

編輯三個(gè)文件

編輯內(nèi)容

4個(gè)site.xml文件

core:(修改主機(jī)名，tmp.dir目錄并在linux下創(chuàng)建相應(yīng)目錄，用戶名)

hdfs：(修改主機(jī)名)

mapred:需先重命名(修改主機(jī)名)

yarn：(修改主機(jī)名)

core-site.xml

fs.defaultFS

hdfs://mastercdh:8020

hadoop.tmp.dir

/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp

hdfs-site.xml

dfs.replication

1

dfs.permissions.enabled

false

dfs.namenode.secondary.http-address

mastercdh:50090

將這個(gè)文件重命名為mapred-site.xml

mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

mastercdh:10020

mapreduce.jobhistory.webapp.address

mastercdh:19888

yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

mastercdh

yarn.log-aggregation-enable

true

yarn.log-aggregation.retain-seconds

106800

格式化namenode

$ bin/hdfs namenode –format

啟動(dòng)服務(wù)

開(kāi)啟各服務(wù)：

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

sbin/hadoop-daemon.sh start secondarynamenode

sbin/mr-jobhistory-daemon.sh start historyserver

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

關(guān)閉服務(wù)

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh stop datanode

sbin/hadoop-daemon.sh stop secondarynamenode

sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/yarn-daemon.sh stop resourcemanager

sbin/yarn-daemon.sh stop nodemanager

我們開(kāi)啟服務(wù)

配置SSH免密登陸可使用：

$ sbin/start-dfs.sh

$ sbin/start-yarn.sh

$ sbin/start-all.sh

我們?cè)L問(wèn)下,和apache版本相比，頁(yè)面顏色有變化

安裝mysql

檢查下是否已下載還有卸載殘留

rpm -qa | grep mysql

find / -name mysql

看來(lái)還是有的，通過(guò)rm -rf將以上目錄刪掉即可，另外順便把配置文件/etc/my.cnf也刪掉吧，用rm –f

安裝mysql

yum -y install mysql mysql-server

安裝mysql擴(kuò)展

yum -y install mysql-connector-odbc mysql-devel libdbi-dbd-mysql

啟動(dòng)mysql

service mysqld start

設(shè)置開(kāi)啟啟動(dòng)： chkconfig mysqld on

檢查下

chkconfig | grep mysql

設(shè)置登錄密碼：mysqladmin -u root password 'password'

進(jìn)入數(shù)據(jù)庫(kù)，查詢用戶信息

設(shè)置遠(yuǎn)程登錄權(quán)限

grant all privileges on *.* to 'root'@'%' identified by 'password' with grant option;

刪除用戶信息

delete from user where user='root' and host='127.0.0.1';

刷新信息

flush privileges;

update user set password = password("password") where user ="root" and host = "mastercdh";

flush privileges;

重啟mysqld服務(wù)

service mysqld restart

進(jìn)入解壓的hive目錄中配置文件目錄

先重命名hive-default.xml.template

mv hive-default.xml.template hive-site.xml

再重命名hive-env.sh.template

mv hive-env.sh.template hive-env.sh

再重命名hive-log4j.properties.template

mv hive-log4j.properties.template hive-log4j.properties

依次配置

首先hive-env.sh

HADOOP_HOME=/opt/bigdata/hadoop-2.5.0-cdh5.3.6

export HIVE_CONF_DIR=/opt/bigdata/hadoop-2.5.0-cdh5.3.6

編輯hive-site.xml,我們輸入4000dd刪除原來(lái)的內(nèi)容

輸入配置文件

j

javax.jdo.option.ConnectionURL

jdbc:mysql://mastercdh:3306/cdhmetastore?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

root

javax.jdo.option.ConnectionPassword

password

hive.cli.print.current.db

true

hive.cli.print.header

true

配置hive-log4j.properties

hive.log.dir=/opt/bigdata/hive-0.13.1-cdh5.3.6/logs

我們將準(zhǔn)備好的mysql的jar包上傳到lib目錄下

mysql-connector-java-5.1.27-bin.jar

切換到Hadoop目錄，建立目錄，并修改權(quán)限

/user/hive/warehouse為Hive存放數(shù)據(jù)的目錄

bin/hdfs dfs -mkdir -p /user/hive/warehouse

bin/hdfs dfs -chmod g+w /user/hive/warehouse

bin/hdfs dfs -chmod g+w /tmp

啟動(dòng)客戶端使用Hive bin/hive就可以了

解壓zookeeper

tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz -C /opt/bigdata/

進(jìn)入zookkeeper目錄，創(chuàng)建存放數(shù)據(jù)的目錄

在conf目錄里

cp -a zoo_sample.cfg zoo.cfg

然后修改：dataDir= /opt/bigdata/zookeeper-3.4.5-cdh5.3.6/zkData

啟動(dòng)

sbin/zkServer.sh start

可以去查看狀態(tài)：sbin/zkServer.sh status

部署sqoop

解壓sqoop后

配置conf/sqoop-env.sh

復(fù)制： cp -a sqoop-env-template.sh sqoop-env.sh

或直接重命名重命名hive-env.sh (去掉.template)

編輯文件

export HADOOP_COMMON_HOME=/opt/bigdata/hadoop-2.5.0-cdh5.3.6

export HADOOP_MAPRED_HOME=/opt/bigdata/hadoop-2.5.0-cdh5.3.6

export HIVE_HOME=/opt/bigdata/hive-0.13.1-cdh5.3.6

export ZOOCFGDIR=/opt/bigdata/zookeeper-3.4.5-cdh5.3.6

拷貝jdbc驅(qū)動(dòng)包達(dá)到lib目錄

查看幫助信息：bin/sqoop help

測(cè)試：sqoop連接mysql

bin/sqoop list-databases --connect jdbc:mysql://mastercdh:3306/ --username root --password password

與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的hadoop jar包_快速搭建Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。