Flume的Collector
生活随笔
收集整理的這篇文章主要介紹了
Flume的Collector
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?
?
Collector的作用是將多個Agent的數據匯總后,加載到Storage中。它的source和sink與agent類似。
?
數據源(source),如:
collectorSource[(port)]:Collector source,監聽端口匯聚數據。
autoCollectorSource:通過master協調物理節點自動匯聚數據。
logicalSource:邏輯source,由master分配端口并監聽rpcSink。
?
sink,如:
collectorSink( “fsdir”,”fsfileprefix”,rollmillis):collectorSink,數據通過collector匯聚之后發送到hdfs, fsdir 是hdfs目錄,fsfileprefix為文件前綴碼。
customdfs(“hdfspath”[, "format"]):自定義格式dfs。
轉載于:https://www.cnblogs.com/zlslch/p/6784963.html
《新程序員》:云原生和全面數字化實踐50位技術專家共同創作,文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的Flume的Collector的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Linux环境下Redis集群实践
- 下一篇: 设计模式--6大原则--开闭原则