Flink从入门到精通100篇(三)-如何利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏环境
生活随笔
收集整理的這篇文章主要介紹了
Flink从入门到精通100篇(三)-如何利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏环境
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言
雖然博主之前寫過基于Prometheus PushGateway搭建Flink監控的過程,但是在我們的生產環境中,使用的是InfluxDB。InfluxDB是一個由Go語言寫成的、由InfluxData部分開源的時序數據庫,能夠非常好地處理監控指標的存儲和查詢,配合Grafana即可簡單地實現Flink作業metrics的收集與展示。本文簡述配置過程及一些小問題。
硬件參數
新版InfluxDB的集群版是收費的,但是單點也足夠我們存儲較長時間的監控數據了。
-
CPU:Intel E5 v4 12C/24T
-
內存:96GB
-
硬盤:500GB SSD * 2
-
網絡:10Gbps
-
操作系統:CentOS 7.5 64-bit
-
InfluxDB 1.8
-
Grafana 6.7.4
安裝與配置InfluxDB
先下載RPM包,再用yum localinstall安裝,可以自動解決依賴關系。
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.0.x86_64.rpm yum -y localinstall influxdb-1.8.0.x86_64.rpm安裝完畢后,配置文件位于/etc/influxdb/influxdb.conf。具體配置項可參見官方文檔,有一些需要注意的,列舉如下。
-
元數據存儲目錄
總結
以上是生活随笔為你收集整理的Flink从入门到精通100篇(三)-如何利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏环境的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: RabbitMQ 还是 Kafka?哪个
- 下一篇: 淘宝拼多多之争,从宏观的角度看拼多多是如