我說實話，NiFi的坑真的挺多的。。。

1、PutHiveStreaming processor的使用

該控制器配置需要hive啟用事物；且目前只支持orc格式，且建表需要分桶，開啟事務等，建表示例如下：

create tabletest_trancaction

(user_id Int,name String)clustered by (user_id) into 3buckets

storedas orc TBLPROPERTIES ('transactional'='true');

hive的事物配置，hive-site.xml配置添加：

hive.support.concurrency

true

hive.enforce.bucketing

true

hive.exec.dynamic.partition.mode

nonstrict

hive.txn.manager

org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

hive.compactor.initiator.on

true

hive.compactor.worker.threads

1

具體配置：

PutHiveStreaming

SelectHiveQL：

雙擊，進入config配置：

HiveConnectionPool配置：

勾選自動終止關系類型：可以都選上

選擇調度策略：

有三種，常用的有time driven，CRON driven

簡單測試使用Run Schedule不要用0秒，不然會一直不停的在寫入數據。。。

有關調度策略下篇在做具體說明

運行一下看看：

源數據：

配置好之后右鍵點擊start

過一分鐘左右查看插入數據：

條數有可能不止14條，后續再研究調度的程序設置；

到此為止簡單實現了hive-hive的配置

總結

以上是生活随笔為你收集整理的nifi将hive同步到oracle,NiFi使用总结 一 hive到hive的PutHiveStreaming processor和SelectHiveQL...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。