python做炫酷的界面_用python打造可视化爬虫监控系统,酷炫的图形化界面
安裝 InfluxDB
修改配置文件/usr/local/etc/influxdb.conf,如果原文件中沒有對應配置項,需自己添加。
3. 安裝配置 Grafana
安裝 Grafana
并修改 Grafana 配置文件 /usr/local/etc/grafana/grafana.ini,內容如下:
4. 爬蟲代碼
由于這里主是要介紹如何將 Grafana 和 InfluxDB 與爬蟲進行結合的方案,而不是主講爬蟲原理,而且代碼也比較多,影響可讀性,所以就不貼出爬取的代碼。
5. 監控腳本
考慮到可能要增加爬蟲到監控中,因此這里使用了熱更新對監控進行動態配置。
配置文件 influx_settings.conf 主要用于熱更新相關設置。
如何動態讀取這個配置文件的設置呢?需要寫一個腳本來監控。代碼如下:
來試著運行一下
python3 influx_monitor.py
運行,得到下圖內容,表示監控腳本運行成功。
另建窗口,修改配置文件 influx_settings.conf
# 修改間隔時間為8秒
interval = 8
切換至第一次運行 influxDB 的窗口,會提示配置更新,說明配置熱更新生效。
6. 配置 Grafana
首先打開 Chrome 瀏覽器,輸入 http://127.0.0.1:3000 登錄 grafana 頁面。
連接本地 influxDB 數據庫,操作如下圖。
在紅色方框內選擇 Type 類型為 InfluxDB,并輸入URL:http://localhost:8086
在紅框內輸入influxDB數據庫名稱
新建 dashboard
新建 graph 類型 dashboard
修改 dashboard 設置
點擊紅色方框修改設定
修改 dashboard 配置
設置監控的數據對象
在監控腳本中,寫入influxDB的代碼如下,其中 "measurement" 對應 表名,"fields" 對應寫入的字段;
7. 運行爬蟲文件
啟動 MongoDB 數據庫服務。
brew services mongodb start
新建一個 terminal 窗口,運行爬蟲文件。
爬蟲文件運行成功
我們可以在剛剛打開的控制臺里查看效果展示:
怎么樣?學會了嗎?如果你跟我一樣都喜歡python,也在學習python的道路上奔跑,歡迎你加入python學習群:839383 765 群內每天都會分享最新業內資料,企業項目案例,分享python免費課程,共同交流學習,讓學習變(編)成(程)一種習慣!
總結
以上是生活随笔為你收集整理的python做炫酷的界面_用python打造可视化爬虫监控系统,酷炫的图形化界面的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: sql查看视图字段信息_高级(视图 索引
- 下一篇: linux学习之运维篇