父路径_Logtail 新功能:采集路径黑名单
背景
在某些場景下,我們需要采集的日志會分散在多個目錄,為了在一個采集配置中同時采集它們,我們往往需要把采集配置中的目錄指定為這些目錄的共同父目錄,這在實際使用用可能會產生一些問題。以如下的目錄結構為例,我們希望在一個采集配置內指定采集 dira/b/c 目錄下的 *.log,就必須將采集目錄指定為父目錄 admin。但這樣指定后,由于 logtail 遞歸采集子目錄的規則,一方面dirs 目錄下的 private.log 由于符合規則,也會被采集上來,會違背數據安全;另一方面,如果目錄 dire、dirf 這些不需要的目錄也會被監控,帶來性能問題。
admin├── dire├── dira│?? └── a.log├── dirb│?? └── b.log├── dirc│?? └── c.log├── dirf└── dirs └── private.log在當前情況下,為了避免這種問題,我們一般會通過創建多個采集配置來分別指定具體的子目錄,非常麻煩。為了支撐此類場景,logtail 新增了指定采集路徑黑名單的功能,可以在采集配置所指定的根目錄基礎上,對指定的目錄、文件進行過濾,使 logtail 跳過對它們的采集。
依賴 logtail 版本:0.16.26 及以上。
功能說明及示例
目前,黑名單功能支持按照 目錄路徑 和 文件路徑 兩種方式進行過濾,前者會跳過指定目錄下所有內容(文件、子目錄)的采集,后者則是跳過對指定文件的采集。為了提高使用的靈活性,在指定目錄、文件的路徑時,可以使用 *、? 等通配符來匹配多個目標。
假設我們采集的內容是目錄 /home/admin 下的 *.log,以下是一些黑名單示例以及它們的效果。
- 按目錄路徑忽略 /home/admin/dir1:忽略子目錄 dir1 下的所有內容。
- 按目錄路徑忽略 /home/admin/dir*:忽略 /home/admin/ 下所有 dir 開頭的子目錄內容。
- 按目錄路徑忽略 /home/admin/*/dir:忽略 /home/admin/ 下所有二級目錄名為 dir 的子目錄內容,比如 /home/admin/a/dir 會被忽略,而 /home/admin/a/b/dir 會被采集。
- 按文件路徑忽略 /home/admin/private*.log:忽略 /home/admin/ 目錄下所有 private 開頭、.log結尾的文件。
- 按文件路徑忽略 /home/admin/private*/*_inner.log:忽略 /home/admin/ 目錄下 private 開頭的一級子目錄內,以 _inner.log 結尾的文件,比如 /home/admin/private/app_inner.log 會被忽略,而 /home/admin/private/app.log 會被采集。
控制臺操作
通過【文本日志】的接入方式(比如 JSON、分隔符、單行等),根據向導進入配置頁面后。啟用【設置采集黑名單】,在黑名單配置中根據需要新增條目即可使用此功能。匹配黑名單過程會有計算開銷,因此,建議黑名單條目數不要超過 10 條。
想了解更多資訊,關注實戰云公眾號
總結
以上是生活随笔為你收集整理的父路径_Logtail 新功能:采集路径黑名单的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 刺激战场听脚步技巧有哪些
- 下一篇: 采用T/P结尾 多颗全新骁龙处理器曝光: