1.概述

Kafka Eagle是一款開源的Kafka集群監(jiān)控系統(tǒng)，源代碼托管在Github。目前Kafka Eagle已更新到V1.3.4版本，域名已經(jīng)統(tǒng)一更新為http://www.kafka-eagle.org/，之前的下載地址和官網(wǎng)使用手冊地址均已替換，例如http://download.smartloli.org/替換為http://download.kafka-eagle.org/，而使用手冊地址http://ke.smartloli.org/替換為https://docs.kafka-eagle.org/。今天，筆者就帶著大家來整體分析一下Kafka Eagle。

2.內(nèi)容

Kafka Eagle迭代至今，以及集成了許多功能，例如：多集群管理、Topic大小統(tǒng)計(jì)、Topic MBean監(jiān)控、Kafka多版本兼容、Flink消費(fèi)者應(yīng)用程序支持等。

2.1 Kafka Eagle

2.1.1 背景

Kafka Eagle設(shè)計(jì)的背景，有以下幾點(diǎn)原因：

• Apache Kafka官方?jīng)]有提供監(jiān)控系統(tǒng)或是Web頁面，來可視化Kafka集群，這對管理和掌握Kafka的動態(tài)帶來極大的不方便，而開發(fā)者和運(yùn)維人員無法及時(shí)把握Kafka的狀態(tài)，在定位分析一些問題的時(shí)候，會很不方便
• 已有的監(jiān)控工具功能較少，對于現(xiàn)有的Kafka監(jiān)控工具，功能較少，達(dá)不到想要的監(jiān)控和管理效果
• 已有的監(jiān)控工具使用難度較大，目前一些監(jiān)控工具均需要自己編譯源代碼，而且在配置上很復(fù)雜，同時(shí)文檔說明也沒有統(tǒng)一的規(guī)范，使用起來很不方便
• 告警支持不足，有些監(jiān)控工具雖然支持郵件告警，但是，對于已有的IM支持比較欠缺，例如微信和釘釘?shù)闹С值?/li>

2.1.2 架構(gòu)和核心模塊

Kafka Eagle核心模塊包含如下：

• 面板可視化
• 主題管理，包含創(chuàng)建主題、刪除主題、主題列舉、主題配置、主題查詢等
• 消費(fèi)者應(yīng)用：對不同消費(fèi)者應(yīng)用進(jìn)行監(jiān)控，包含Kafka API、Flink API、Spark API、Storm API、Flume API、LogStash API等
• 集群管理：包含對Kafka集群和Zookeeper集群的詳情展示，其內(nèi)容包含Kafka啟動時(shí)間、Kafka端口號、Zookeeper Leader角色等。同時(shí)，還有多集群切換管理，Zookeeper Client操作入口
• 集群監(jiān)控：包含對Broker、Kafka核心指標(biāo)、Zookeeper核心指標(biāo)進(jìn)行監(jiān)控，并繪制歷史趨勢圖
• 告警功能：對消費(fèi)者應(yīng)用數(shù)據(jù)積壓情況進(jìn)行告警，以及對Kafka和Zookeeper監(jiān)控度進(jìn)行告警。同時(shí)，支持郵件、微信、釘釘告警通知
• 系統(tǒng)管理：包含用戶創(chuàng)建、用戶角色分配、資源訪問進(jìn)行管理

?

Kafka Eagle架構(gòu)組成如下所示：

• 可視化：負(fù)責(zé)展示主題列表、集群健康、消費(fèi)者應(yīng)用等
• 采集器：數(shù)據(jù)采集的來源包含Zookeeper、Kafka JMX & 內(nèi)部Topic、Kafka API（這里API針對Kafka 2.x以后的版本進(jìn)行升級）
• 數(shù)據(jù)存儲：目前Kafka Eagle存儲采用MySQL或SQLite，數(shù)據(jù)庫和表的創(chuàng)建均是自動完成的，按照官方文檔進(jìn)行配置好，啟動Kafka Eagle就會自動創(chuàng)建，用來存儲元數(shù)據(jù)和監(jiān)控?cái)?shù)據(jù)
• 監(jiān)控：負(fù)責(zé)見消費(fèi)者應(yīng)用消費(fèi)情況（是否有數(shù)據(jù)積壓）、集群健康狀態(tài)（集群節(jié)點(diǎn)是否掉線）
• 告警：對監(jiān)控到的異常進(jìn)行告警通知，支持郵件、微信、釘釘?shù)确绞?/li>
• 權(quán)限管理：對訪問用戶進(jìn)行權(quán)限管理，對于管理員、開發(fā)者、訪問者等不同角色的用戶，分配不用的訪問權(quán)限

2.1.3 選擇Kafka Eagle有哪些好處

選擇Kafka Eagle有哪些好處呢？首先Kafka Eagle安裝使用非常方便，這也是Kafka Eagle設(shè)計(jì)的初衷之一；其次，Kafka Eagle提供了友好的用戶交互界面，以及豐富的功能支持。同時(shí)，對于使用過程中遇到的BUG和問題，可以在QQ群中進(jìn)行咨詢以及在Github源代碼中提issues。總計(jì)如下：

• 簡單易用
• 功能豐富
• 專業(yè)支持（咨詢渠道多，實(shí)時(shí)咨詢Kafka Eagle項(xiàng)目作者進(jìn)行解答）

2.1.4 后續(xù)工作

Kafka Eagle的后續(xù)工作，分為4個(gè)維度：

• 系統(tǒng)質(zhì)量維度：持續(xù)優(yōu)化Kafka Eagle系統(tǒng)，保證Kafka Eagle系統(tǒng)的使用質(zhì)量
• 需求收集維度：調(diào)研并收集Kafka監(jiān)控需求，同時(shí)修復(fù)Kafka Eagle在Github中issues問題
• 新功能開發(fā)維度：對于實(shí)際需求在Kafka Eagle中做新功能開發(fā)，來滿足使用者的實(shí)際需求
• 文檔完善維度：對Kafka Eagle的官網(wǎng)使用手冊進(jìn)行完善，保證用戶能夠閱讀規(guī)范的的使用手冊

3.新功能預(yù)覽

?在Kafka Eagle V1.3.4中對Flink消費(fèi)者應(yīng)用進(jìn)行了優(yōu)化，同時(shí)對歷史趨勢圖的繪制進(jìn)行了優(yōu)化，以及對展示主題列表和消費(fèi)列表的邏輯進(jìn)行優(yōu)化。

?

4.文檔整理

完善了Kafka Eagle的官方使用手冊（https://docs.kafka-eagle.org/），以及Kafka Eagle系統(tǒng)設(shè)計(jì)PDF文檔（http://pdf.kafka-eagle.org/）。

5.總結(jié)

Kafka Eagle的安裝使用非常方便，如果在使用過程中遇到了問題，可以給筆者發(fā)郵件留言，或者直接在QQ群進(jìn)行筆者。同時(shí)，也非常歡迎大家一起參與維護(hù)這個(gè)項(xiàng)目，在Github上提PR，或者issues。

6.結(jié)束語

這篇博客就和大家分享到這里，如果大家在研究學(xué)習(xí)的過程當(dāng)中有什么問題，可以加群進(jìn)行討論或發(fā)送郵件給我，我會盡我所能為您解答，與君共勉！

另外，博主出書了《Kafka并不難學(xué)》和《Hadoop大數(shù)據(jù)挖掘從入門到進(jìn)階實(shí)戰(zhàn)》，喜歡的朋友或同學(xué)，?可以在公告欄那里點(diǎn)擊購買鏈接購買博主的書進(jìn)行學(xué)習(xí)，在此感謝大家的支持。關(guān)注下面公眾號，根據(jù)提示，可免費(fèi)獲取書籍的教學(xué)視頻。

轉(zhuǎn)載于:https://www.cnblogs.com/smartloli/p/11185746.html

總結(jié)

以上是生活随笔為你收集整理的Kafka Eagle V1.3.4更新预览的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。