Flume 介紹

概述

Flume是一個分布式、可靠、和高可用的?量日志采集、聚合和傳輸?shù)南到y(tǒng)。

Flume可以采集文件，socket數(shù)據(jù)包、文件、文件夾、kafka等各種形式源數(shù)據(jù)，又可以將采集到的數(shù)據(jù)(下沉sink)輸出到HDFS、hbase、hive、kafka等眾多外部存儲系統(tǒng)中

一般的采集需求，通過對flume的簡單配置即可實現(xiàn)

Flume針對特殊場景也具備良好的自定義擴展能力，因此，flume可以適用于大部分的日常數(shù)據(jù)采集場景

運行機制

1. Flume分布式系統(tǒng)中最核心的角色是agent，flume采集系統(tǒng)就是由一個個agent所連接起來形成

2. 每一個agent相當于一個數(shù)據(jù)傳遞員，內(nèi)部有三個組件：

? ?1. Source：采集組件，用于跟數(shù)據(jù)源對接，以獲取數(shù)據(jù)
? ?2. Sink：下沉組件，用于往下一級agent傳遞數(shù)據(jù)或者往最終存儲系統(tǒng)傳遞數(shù)據(jù)
? ?3. Channel：傳輸通道組件，用于從source將數(shù)據(jù)傳遞到sink

Flume 結(jié)構(gòu)圖

簡單結(jié)構(gòu)

單個 Agent 采集數(shù)據(jù)

復(fù)雜結(jié)構(gòu)

多級 Agent 之間串聯(lián)

總結(jié)

以上是生活随笔為你收集整理的flume的概述和运行机制的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。