消息中间件之二:kafka详解
生活随笔
收集整理的這篇文章主要介紹了
消息中间件之二:kafka详解
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
一、概述
Kafka是是由Apache軟件基金會開發的一個開源流處理平臺,由Scala和Java編寫,它是一種分布式的,高吞吐量(支持每秒數百萬),基于發布/訂閱的輕量級消息系統,它支持分區(partition)、多副本(replica),可基于zookeeper完成分布式的協調一致管理,可實時處理海量消費者在網站中的所有動作流數據。kafka用于構建實時數據管道和流應用程序,具有橫向擴展,容錯,wicked fast(變態快)等優點;Kafka的目的是通過Hadoop的并行加載機制來統一線上和離線的消息處理,也是為了通過集群來提供實時的消息。多用于處理海量數據,對實時性要求高的場景,例如:基于hadoop的批處理系統、低延遲的實時系統、storm/Spark流式處理引擎,web/nginx日志、訪問日志,消息服務等等。
Kafka官方地址: http://kafka.apache.org/
場景案例:
1>日志收集:一個公司可以用Kafka可以收集各種服務的log,通過kafka以統一接口服務的方式開放給各種consumer,例如hadoop、Hbase、Solr等。
2>
總結
以上是生活随笔為你收集整理的消息中间件之二:kafka详解的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 练习动画最好的方式(二):屏幕指纹开锁动
- 下一篇: 【Linux 性能优化】利用perf和C