由于業(yè)務(wù)量突然上漲，原來kafka的一個topic只有1個分區(qū)，消息產(chǎn)生了堵塞，現(xiàn)在需要監(jiān)控，本文采取的案例是通過pushagteway +?prometheus 的形式。

話不多說，直接是上腳本

#!/bash/bin #傳入group id ，通過命令獲取lag groupId=$1 kafka-consumer-groups.sh --new-consumer --bootstrap-server node1:9292,node2:9092,node13:9092 --group ${groupId} --describe > /root/11.log#然后遍歷文件，前2行不要 a=1 cat /root/11.log |while read line do if [ $a -gt 2 ];then#echo $line jobName=`echo $line | awk '{printf $1 "_" $2}'` #echo $jobNamelag=`echo $line | awk '{printf $5}'`offset=`echo $line | awk '{printf $3}'`topic=`echo $line | awk '{printf $1}'`partion=`echo $line | awk '{printf $2}'`#echo "jobName = $jobName , lag = $lag , offset = $offset"#將lag和offset信息傳入pushagtewayecho "${groupId}_lag $lag" | curl --data-binary @- http://node4:9091/metrics/job/${jobName}echo "${groupId}_offset $offset" | curl --data-binary @- http://node4:9091/metrics/job/${jobName} fi a=`expr $a + 1` done

然后使用的時候 sh lag.sh flow? ?這個flow就是group.id

最后前端通過grafana展示

通過這樣很容易看出業(yè)務(wù)的高峰期

完善的想法：

offset可以做增量，這個就需要自己去實現(xiàn)了，將offset記錄下來，然后相減。

總結(jié)

以上是生活随笔為你收集整理的Kakfa LAG监控的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。