Flume fan out(扇出)详解
生活随笔
收集整理的這篇文章主要介紹了
Flume fan out(扇出)详解
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
在flume中有時候需要將一個源(source)將數據發送到多個地方(sink),在flume中該術語叫做扇出(fan out),也就是從一個source向多個channel,就是向多個sink傳遞事件。下面就展示一個將同一事件傳遞到HDFS和logger。
agent1.sources = source1 agent1.sinks = sink1a sink1b agent1.channels = channel1a channel1bagent1.sources.source1.channels = channel1a channel1b agent1.sinks.sink1a.channel = channel1a agent1.sinks.sink1b.channel = channel1bagent1.sources.source1.type = spooldir agent1.sources.source1.spoolDir = /tmp/spooldiragent1.sinks.sink1a.type = hdfs agent1.sinks.sink1a.hdfs.path = /tmp/flume agent1.sinks.sink1a.hdfs.filePrefix = events agent1.sinks.sink1a.hdfs.fileSuffix = .log agent1.sinks.sink1a.hdfs.inUsePerfix = _ agent1.sinks.sink1a.hdfs.fileType = DataStreamagent1.sinks.sink1b.type = loggeragent1.channels.channel1a.type = file agent1.channels.channel1b.type = memory與一對一不同的是將agent1.sources.source1.channels屬性設置為一個由channel1a和channel1b組成的空格分割列表,使得該配置為向多個channel傳遞事件。channel1b設置為memory意思是調試所用,并不需要當flume丟失數據重啟再次打印在控制臺上。
啟動改agent
在/tmp/spooldir上新建一個文件
[root@master spooldir]# echo "I Love strom" > /tmp/spooldir/.file7.txt
[root@master spooldir]# mv /tmp/spooldir/.file7.txt /tmp/spooldir/file7.txt
、
在控制臺上
現在控制臺上顯示文件的內容,然后將文件內容寫入HDFS,在HDFS中查看該文件內容:
總結
以上是生活随笔為你收集整理的Flume fan out(扇出)详解的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Centos 安装Eclipse报错ja
- 下一篇: 怎么获取排他网关下的所有userTask