端口是自定義的

http://desktop:9091/nifi/

?

mysql數(shù)據(jù)集準(zhǔn)備以[2]為準(zhǔn)

需要提前在hbase中建立好數(shù)據(jù)庫(kù):

hbase>create "book","information"

?

?

mysql設(shè)置:

然后點(diǎn)擊齒輪,填寫(xiě)表格如下:

Database Connection URL	jdbc:mysql://localhost:3306/sqoop_hbase?useUnicode=true&characterEncoding=utf8&useSSL=true
Database Driver Class Name	com.mysql.jdbc.Driver
Database Driver Location(s)	/home/appleyuchi/bigdata/apache-hive-3.0.0-bin/lib/./mysql-connector-java-8.0.20.jar
Database User	appleyuchi
Password	appleyuchi

填寫(xiě)完后點(diǎn)擊閃電符號(hào)生效

?

數(shù)據(jù)流程思路:

從ExecuteSQL里出來(lái)的是avro格式的數(shù)據(jù)，要先將其轉(zhuǎn)化成json格式，再導(dǎo)入HBase。拖一個(gè)ConvertAvroToJson Processor到界面。然后，從ExecuteSQL連一條線(xiàn)到ConvertAvroToJson，關(guān)系為success。

?

需要在界面設(shè)置好hbase的表格名，列簇和主鍵

?

最終框架如下:

上述mysql到hbase的NIFI完整詳細(xì)配置文件在:

https://gitee.com/appleyuchi/cluster_configuration/tree/master/spark3.0.0-hadoop3.2.1%E7%A6%BB%E7%BA%BF%E5%A4%9A%E6%9C%BA%E9%9B%86%E7%BE%A4%E9%85%8D%E7%BD%AE-%E5%AE%8C%E6%88%90/NIFI%E6%95%B0%E6%8D%AE%E6%B5%81%E9%85%8D%E7%BD%AE

最后start即可，start后，數(shù)據(jù)是實(shí)時(shí)從mysql同步到hbase的，

在hbase中

scan 'book'

就可以看到導(dǎo)入的進(jìn)度。

如果此時(shí)在mysql增加一條數(shù)據(jù)，那么過(guò)一會(huì)兒就可以在hbase中看到。

整個(gè)NIFI一旦start以后，是不會(huì)自己停止的，會(huì)時(shí)刻監(jiān)控mysql新增的數(shù)據(jù)。

?

?

Reference:

[1]使用NiFi將數(shù)據(jù)從Mysql導(dǎo)入至HBase

[2]sqoop把mysql數(shù)據(jù)導(dǎo)入hbase-完整記錄

總結(jié)

以上是生活随笔為你收集整理的NIFI从mysql导入Hbase的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。