Flume的Channel
生活随笔
收集整理的這篇文章主要介紹了
Flume的Channel
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
一、Memory Channel
事件將被存儲在內存中(指定大小的隊列里)
非常適合那些需要高吞吐量且允許數據丟失的場景下
屬性說明:
二、JDBC Channel
事件會被持久化(存儲)到可靠的數據庫里,目前支持嵌入式Derby數據庫。即source=》channel=》sink。在傳輸的過程中,會先把事件存到關系型數據庫里。但是Derby數據庫不太好用,所以JDBC Channel目前僅用于測試,不能用于生產環境。
三、FileChannel
好處:數據不丟失
壞處:極大的降低flume的吞吐量,因為要頻繁的發生磁盤I/O
性能比較低,但是即使程序出錯數據不會丟失
性能會比較低下,但是即使程序出錯數據不會丟失
配置實例:
a1.sources=r1 a1.channels=c1 a1.sinks=s1a1.sources.r1.type=netcat a1.sources.r1.bind=0.0.0.0 a1.sources.r1.port=8888a1.sinks.s1.type=loggera1.channels.c1.type=file a1.channels.c1.dataDirs=/home/filechannela1.sources.r1.channels=c1 a1.sinks.s1.channel=c1四、內存溢出通道
優先把Event存到內存中,如果存不下,在溢出到文件中,目前處于測試階段,還未能用于生產環境
?
?
?
?
?
?
?
?
轉載于:https://www.cnblogs.com/chuijingjing/p/10149774.html
總結
以上是生活随笔為你收集整理的Flume的Channel的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 你好养老保险补|助名下有一车给补助吗?
- 下一篇: 低速货车胎噪和轴承坏了的区别,怎么区分?