Splunk学习与实践
?
一、? Splunk公司與產品
美國Splunk公司，成立于2004年，2012年納斯達克上市，第一家大數據上市公司，榮獲眾多獎項和殊榮。總部位于美國舊金山，倫敦為國際總部，香港設有亞太支持中心，上海設有海外第一個研發中心。
產品：Splunk Enterprise【企業版】、Splunk Free【免費版】、Splunk Cloud、Splunk Hunk【大數據分析平臺】、Splunk Apps【基于企業版的插件】等。企業版按索引的數據量收費，免費版每天最大數據索引量500MB，可使用絕大多數企業版功能。
二、? Splunk能夠做什么
讓所有人均可訪問機器數據、讓機器數據對所有人有用并具有價值！Splunk是機器數據的引擎，使用Splunk可收集、索引和利用所有應用程序、服務器和設備生成的快速移動型計算機數據。使用Splunk處理計算機數據，可讓您在幾分鐘內解決問題和調查安全事件；使用Splunk可以監視您的端對端基礎結構，避免服務性能降低或中斷；以較低成本滿足合規性要求；關聯并分析跨越多個系統的復雜事件，獲取新層次的運營可見性以及 IT 和業務智能。
每個環境都有獨特的機器數據空間，以下是一些示例：
| 數據類型 | 位置 | 可以做什么 |
| 應用日志 | 本地日志文件、log4j、log4net、Weblogic、WebSphere、JBoss、.NET、PHP | 用戶活動、欺詐檢測、應用性能 |
| 業務流程日志 | 業務流程管理日志 | 跨渠道客戶活動、購買、帳戶變更以及問題報表 |
| 呼叫詳細信息記錄 | 呼叫詳細信息記錄 (CDR)、計費數據記錄、事件數據記錄均由電信和網絡交換機所記錄。 | 計費、收入保證、客戶保證、合作伙伴結算，營銷智能 |
| 點擊流數據 | Web 服務器、路由器、代理服務器和廣告服務器 | 可用性分析、數字市場營銷和一般調查 |
| 配置文件 | 系統配置文件 | 如何設置基礎設施、調試故障、后門攻擊、"定時炸彈"病毒 |
| 數據庫審計日志 | 數據庫日志文件、審計表 | 如何根據時間修改數據庫數據以及如何確定修改人 |
| 文件系統審計日志 | 敏感數據存儲在共享文件系統中 | 監測并審計敏感數據讀取權限 |
| 管理并記錄 API | 通過 OPSEC Log Export API (OPSEC LEA) 和其他 VMware 和 Citrix 供應商特定 API 的 Checkpoint 防火墻 | 管理數據和日志事件 |
| 消息隊列 | JMS、RabbitMQ 和 AquaLogic | 調試復雜應用中的問題，并作為記錄應用架構基礎 |
| 操作系統度量、狀態和診斷命令 | 通過命令行實用程序（例如 Unix 和 Linux 上的 ps 與 iostat 以及 Windows 上的性能監視器）顯示的 CPU、內存利用率和狀態信息 | 故障排除、分析趨勢以發現潛在問題并調查安全事件 |
| 數據包/流量數據 | tcpdump 和 tcpflow 可生成 pcap 或流量數據以及其他有用的數據包級和會話級信息 | 性能降級、超時、瓶頸或可疑活動可表明網絡被入侵或者受到遠程攻擊 |
| SCADA 數據 | 監視控制與數據采集 (SCADA) | 識別 SCADA 基礎結構中的趨勢、模式和異常情況，并用于實現客戶價值 |
| 傳感器數據 | 傳感器設備可以根據監測環境條件生成數據，例如氣溫、聲音、壓力、功率以及水位 | 水位監測、機器健康狀態監測和智能家居監測 |
| Syslog | 路由器、交換機和網絡設備上的 Syslog | 故障排除、分析、安全審計 |
| Web 訪問日志 | Web 訪問日志會報告 Web 服務器處理的每個請求 | Web 市場營銷分析報表 |
| Web 代理日志 | Web 代理記錄用戶通過代理發出的每個 Web 請求 | 監測并調查服務條款以及數據泄露事件 |
| Windows 事件 | Windows 應用、安全和系統事件日志 | 使用業務關鍵應用、安全信息和使用模式檢測問題。 |
| 線上數據 | DNS 查找和記錄，協議級信息，包括標頭、內容以及流記錄 | 主動監測應用性能和可用性、最終客戶體驗、事件調查、網絡、威脅檢測、監控和合規性 |
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
三、? Splunk架構與組件
?
?
架構最下層：Splunk通過監控文件和目錄、監控網絡端口、運行腳本的方式獲取數據。
Data Routing Cloningand and Load Balancing:數據復制與負載均衡，
Index：顧名思義，它跟索引有關，實際上他不僅僅負責為數據建立索引，還負責響應查找索引數據的用戶請求，還有讀取數據和負責查找管理工作。雖然indexer可以在查找它本身的數據，但是，在多indexer的集群中，可以通過叫“search head”的組件來整合多個indexer，對外提供統一的查詢管理和服務。
Search:專用的搜索語言，原始事件搜索、報表生成搜索，并可在搜索中自動學習“知識”，用戶也可以自定義知識，從而使搜索越來越智能。
最上面兩層：各類報表、告警，以命令行窗口，web圖形界面接口和其他接口。
Splunk的幾個重要組件：
索引器：索引器是用于為數據創建索引的Splunk Enterprise 實例。索引器將原始數據轉換為事件并將事件存儲至索引(Index)中。索引器還搜索索引數據，以響應搜索請求。
搜索頭：在分布式搜索環境中，搜索頭是處理搜索管理功能、指引搜索請求至一組搜索節點，然后將結果合并返回至用戶的Splunk Enterprise 實例。如果該實例僅搜索不索引，通常被稱為專用搜索頭。
搜索節點：在分布式搜索環境中，搜索節點是建立索引并完成源自搜索頭搜索請求的Splunk Enterprise實例。
轉發器：轉發器是將數據轉發至另一個Splunk Enterprise 實例（索引器或另一個轉發器）或至第三方系統的Splunk Enterprise 實例。
接收器：接收器是經配置從轉發器接收數據的Splunk Enterprise 實例。接收器為索引器或另一個轉發器。
應用：應用是配置、知識對象和客戶設計的視圖和儀表板的集合，擴展Splunk Enterprise 環境以適應Unix 或Windows 系統管理員、網絡安全專家、網站經理、業務分析師等組織團隊的特定需求。單個Splunk Enterprise 安裝可以同時運行多個應用。
四、? Splunk分布式部署
?
?
如果系統平臺比較大，產生的數據量比較大，那么可以不斷擴展splunk集群，splunk具備這種擴展能力。用戶可以部署任意多個forwarder，用來轉發剛剛產生的原始數據。Indexer也可以部署成為一個集群，統一下層提供接收原始數據、建立索引的服務，對上層提供搜索的服務。用戶還可以部署多臺用于搜索的Search Header。所以，用戶可以根據自己平臺的實際工作量來部署自己的splunck集群大小。
五、? Splunk的安裝
Splunk支持在各類操作系統上安裝，下面以Linux系統安裝為例：
1、上傳splunk安裝包splunk-6.4.2-00f5bb3fa822-Linux-x86_64.tgz至/opt目錄。
2、解壓安裝壓縮包
/tar –zxvf splunk-6.4.2-00f5bb3fa822-Linux-x86_64.tgz? //解壓，解壓異常請注意文件上傳是否正確。
3、進入splunk命令文件夾（bin）
cd? /opt/splunk/bin?? //進入splunk? bin目錄
?
4、檢查splunk狀態
./splunk status? //檢查splunk狀態是否正常，第一次會彈出license告知，按提示點擊確定
?
?
5、啟動splunk
./splunk?? start?? //啟動splunk
?
?
./splunk?? status? //檢查啟動狀態
?
?
6、Splunk默認web登陸端口是8000，在瀏覽器中http://ip:8000，可第一次登陸，如果無法登陸請檢查本機防火墻。
默認用戶名：admin，密碼：changeme，第一次登陸成功后要求重置密碼。
?
?
7、設置splunk開機啟動
./splunk? enable? boot-start
?
?
8、查看splunk進程信息
ps –f | grep splunk
?
?
六、? Splunk卸載
1、進入splunk文件夾
cd /opt/splunk/bin??
2、檢查splunk狀態
./splunk? status
3、關閉splunk服務
/splunk ?stop
?
?
4、刪除splunk安裝目錄
rm –rf ?/opt/splunk
七、? Splunk基本配置
所有的設置基本上都可以通過Web頁面和splunk CLI命令兩種方式。
1、Web頁面：
?
?
可修改splunk主機名、管理端口、web登陸端口，修改后需重啟splunk生效。
?
?
2、CLI命令
./splunk start??? //啟動
./splunk stop?? //關閉
./splunk restart? //重啟
./splunk status?? //查看狀態
./splunk version?? //查看版本
? ./splunk show splunkd-port? //查看管理端口
?
?
? ./splunk show web-port?? //查看web登陸管理端口
./splunk set web-port 80? //修改web登陸管理端口為80
?
./splunk set servername ????//新的服務器名稱 //設置服務器名稱
./splunk set default-hostname ??新的主機名稱 //設置默認主機名稱
./splunk enable web-ssl ?????//啟用SSL
./splunk disable web-ssl ????//關閉SSL
./splunk edit user admin –password ‘newpassword’ –authadmin:oldpassword??? ?//修改用戶密碼
./splunk add user ??//新增用戶
?
?
./splunk add user 新的用戶名 -password ‘新用戶密碼’ -full-name ‘設置它的全名’ –role User（這個是角色）
?
?
./splunk list user??? //列出用戶
?
?
./splunk remove user??? ?//刪除用戶
?
?
八、? 簡單應用實例——手工添加數據
1、點擊Splunk首頁——添加數據——上載
?
?
?
2、選擇要上傳的文件，按提示點擊確定
3、上傳完成后，splunk會自動生成字段，也可以按需要根據“正則表達式”或“分隔符”自己提取字段
?
?
4、可以根據需要進行各類搜索、計算，如何搜索需要學習splunk的SPL搜索語言，推薦閱讀《Splunk實踐指南_》
?
九、? 簡單應用實例——監控splunk本地的數據
1、點擊splunk首頁——添加數據——監視——文件和目錄
?
?
?
2、選擇“瀏覽”，添加需要監控的本地目錄，索引、目錄都可以先選擇默認，在稍后在做具體解釋。
?
?
3、添加完成后，實時監視文件變化，也可以進行搜索了。
?
?
?
十、? 簡單應用實例——監控遠程服務器數據
可以通過syslog或splunk通用轉發器，把遠程服務器的數據傳到splunk服務器進行監視，下面重點介紹splunk通用轉發器的使用。
（一）、splunkforwarder安裝與配置
1、在需要收集日志的服務器上安裝splunkforwarder
?
?
2、切換至splunkforwarder的可執行目錄（bin）,啟用轉發器
./splunk start? //根據提醒點確定
3、查看通用轉發器的端口(默認用戶名：admin、密碼：changeme)
./splunk show splunkd-port
?
?
4、修改通用轉發器的密碼
/splunk edit user admin -password ‘新密碼’ -role admin -auth admin:changeme
?
?
（二）、下面我們將遠程服務器的?/var/log/audit/發給splunk
1、先到splunk上為這個實例創建一個索引，使用默認索引也可以，但建議為主要應用創建各自的索引
通過命令創建索引（也可以通過web頁面創建）
./splunk add index linux_audit
?
?
2、在splunkforwarder服務器上添加一個監控項
./splunk add monitor /var/log/audit –index linux_audit
?
?
3.添加splunk接收服務器和接口
./splunk add forward-server 192.168.40.129:9997
?
?
4.查看轉發服務器
./splunk list forward-server
?
?
5.splunk服務器上檢查開啟監聽端口
./splunk enable listen 要啟用的端口號 // 開啟splunk接收的指定端口
./splunk disable listen 要禁用的端口號 // 關閉splunk接收的指定端口
./splunk display listen // 顯示已啟用的splunk接收的端口
?
（三）、登陸Web頁面，查看搜索
1、index=“linux_audit”(支持命令的自動補全)
?
?
?
十一、??? 利用Splunk搭建SOC平臺
收集一切可以收集的數據（IDS、出入口流量、防病毒、端口掃描等各類信息安全軟件、工具的日志），利用Splunk進行監控、告警、根據需要快速搜索、生成報表，舉例如下：
1、通過Security?Onion?App for?Splunk?software，監控出入口網絡流（包括IDS威脅監控、外網開放端口監控、各協議的連接監控……）
?
?
?
?
2、外網IP開放端口掃描
Nmap掃描日志自動上傳至Splunk，在儀表盤中制定關注的面板（如高危端口開放展示等）。
?
?
?
轉載于:https://www.cnblogs.com/Eleven-Liu/p/7193959.html
總結
以上是生活随笔為你收集整理的Splunk学习与实践的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 2017年微信网名大全
- 下一篇： 如何杀死进程