通過Sqoop實(shí)現(xiàn)Mysql / Oracle 與HDFS / Hbase互導(dǎo)數(shù)據(jù)

SQOOP的描述

SQOOP是用于對數(shù)據(jù)進(jìn)行導(dǎo)入導(dǎo)出的。

??? (1)把MySQL、Oracle等數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入到HDFS、Hive、HBase中

????(2)把HDFS、Hive、HBase中的數(shù)據(jù)導(dǎo)出到MySQL、Oracle等數(shù)據(jù)庫中

一、Mysql與HDFS互導(dǎo)數(shù)據(jù)

環(huán)境：

環(huán)境介紹：3臺虛擬機(jī)安裝centos6.464位、jdk1.7 64位、hadoop2.5.1 64位

192.168.0.108 m1

192.168.0.109 s1

192.168.0.110 s2

?

SQOOP的安裝

解壓縮sqoop的tar.gz文件，設(shè)置環(huán)境變量（source /etc/profile）

?

把數(shù)據(jù)從mysql導(dǎo)入到hdfs(默認(rèn)是/user/<username>)中

1.?? 復(fù)制mysql的驅(qū)動到sqoop目錄下的lib中

2.?? 執(zhí)行導(dǎo)入命令

?

? sqoop import --connect jdbc:mysql://hadoop0:3306/hive? --username root --password admin --table TBLS --fields-terminated-by '\t'? --null-string '**'? -m 1 --append? --hive-import

?

?

說明：

ü? 執(zhí)行import命令將mysql的hive數(shù)據(jù)庫中的TBLS表導(dǎo)入到hdfs中（默認(rèn)目錄user/root）

ü? --fields-terminated-by '\t' ：表示導(dǎo)入到hdfs中以’\t’進(jìn)行切割

ü? --null-string ‘**’：表示當(dāng)字段為null時用’**’替換

ü? -m1：表示只指定一個map任務(wù)（map任務(wù)的個數(shù)關(guān)系生成文件的個數(shù)）

ü? --append：表示如果執(zhí)行多次則進(jìn)行追加（否則多次執(zhí)行則會報already exsist）

ü? --hive-import：表示導(dǎo)入到hive中（如果只需導(dǎo)入到hdfs中則可不寫）

ü? ?

?

? sqoop import --connect jdbc:mysql://hadoop0:3306/hive? --username root --password admin --table TBLS --fields-terminated-by '\t'? --null-string '**'? -m 1 --append? --hive-import? --check-column 'TBL_ID' --incremental append --last-value 6

?

說明：

ü? 執(zhí)行import命令將mysql的hive數(shù)據(jù)庫中的TBLS表導(dǎo)入到hdfs中（默認(rèn)目錄user/root）

ü? --check-column 'TBL_ID'：表示檢查’TBL_ID‘列

ü? --incremental：表示增量

ü? --last-value 6：表示開始追加導(dǎo)入的列從第6列開始(不包含第6列)

ü? --check-column 'TBL_ID' --incremental append --last-value 6：整體解釋為檢查導(dǎo)入的主鍵列‘TBL_ID’當(dāng)該列的值（增量）大于6時，可以進(jìn)行追加導(dǎo)入，否則不進(jìn)行導(dǎo)入

（這樣做的目的：當(dāng)?shù)谝淮螌?dǎo)入數(shù)據(jù)時主鍵列的最后一個值為6，第二次導(dǎo)入時我們不想導(dǎo)入所有的數(shù)據(jù)而是后來增加的數(shù)據(jù)，所以我們可以接著上一次的數(shù)據(jù)導(dǎo)入，即不導(dǎo)入重復(fù)數(shù)據(jù)）

?

把數(shù)據(jù)從hdfs導(dǎo)出到mysql中?

? sqoop export --connect jdbc:mysql://hadoop0:3306/hive? --username root --password admin --table ids --fields-terminated-by '\t' --export-dir '/ids'

?

說明：

--export-dir '/ids'：指定要導(dǎo)出到Mysql的文件目錄

?

設(shè)置為作業(yè)，運(yùn)行作業(yè)

? sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/hive? --username root --password admin --table TBLS --fields-terminated-by '\t'? --null-string '**'? -m 1 --append? --hive-import?

?

說明：

ü? 設(shè)置為作業(yè)后可以直接執(zhí)行作業(yè)，執(zhí)行作業(yè)即執(zhí)行該命令

ü? 執(zhí)行作業(yè)的命令：sqoop job ?–exec ?myjob

ü? 查看作業(yè)已創(chuàng)建的Job作業(yè)：sqoop job –list

?

注：運(yùn)行作業(yè)第一次需要輸入密碼，輸入密碼后即可執(zhí)行，然后修改sqoop/conf/sqoop-site.xml中的sqoop.metastore.client.record.password（去掉注釋即可）

以后運(yùn)行就不需要在此輸入密碼了

導(dǎo)入導(dǎo)出的事務(wù)是以Mapper任務(wù)為單位。

即一個Map任務(wù)一個事務(wù)

?

?案例：

連接測試

sqoop list-tables --connect jdbc:mysql://192.168.0.114:3306/test --username root --password zwx

#sqoop實(shí)現(xiàn)數(shù)據(jù)從oracle導(dǎo)入hdfs(hbase)

sqoop import --append --connect jdbc:oracle:thin:@192.168.0.20:1521:orcl --username yqdev --password yq --m 1 --table c_text --columns id,url,title,publishtime,copy --hbase-create-table --hbase-table c_text --hbase-row-key id --column-family textinfo

#mysql

sqoop import --append --connect jdbc:mysql://192.168.0.114:3306/test --username root --password zwx --m 1 --table c_text --columns id,url,title,author --hbase-create-table --hbase-table c_text --hbase-row-key id --column-family textinfo

?

總結(jié)

以上是生活随笔為你收集整理的sqoop实现Mysql、Oracle与hdfs之间数据的互导的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。