X:原理上不存在這種流程或者沒有必要。

加粗:數(shù)據(jù)庫或數(shù)據(jù)倉庫

非加粗:表示文件格式

☆:表示重點，正在整理中

左側(cè)列:數(shù)據(jù)源頭

上側(cè)行:數(shù)據(jù)傳遞終點

?	Hbase	HDFS	json	txt	Mysql	Hive	Mongodb
Hbase	X	X(因為hbase本來就是基于HDFS的)	[6]或[7]	[6]或[7]	☆	[5]	☆
HDFS	X	X	下載后直接轉(zhuǎn)化	[3]	[3]	X(因為hive本來就是基于HDFS的)	?
json	?	?	X	直接修改后綴名即可	X	?	?
txt	?	?	?	X	[3]	?	?
Mysql	[1]或[2]	?	X	?	X	[4]	X
Hive	☆	[3]	?	?	[3]	X	?
Mongodb	☆	?	?	?	X	☆	X

稍微說明下:

[3]中，把hdfs文件拷貝到本地就是HDFS->txt的過程

hbase->json可以從網(wǎng)上看到都是基于java api讀取后處理的。

所以這里“[6]或[7]"是基于python來處理的。

Reference:

[1]sqoop把mysql數(shù)據(jù)導(dǎo)入hbase-完整記錄

[2]NIFI從mysql導(dǎo)入Hbase

[3]把hive數(shù)據(jù)導(dǎo)出至mysql

[4]sqoop把mysql數(shù)據(jù)導(dǎo)入hive

[5]hbase映射為hive表(轉(zhuǎn)載＋整理＋自己驗證)

[6]python基于happybase對hbase增刪改查-thrift1

[7]python操作hbase配置記錄-基于thrift2協(xié)議

?

?

總結(jié)

以上是生活随笔為你收集整理的大数据集群中数据互相导通流程汇总(持续更新中)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。