Elasticsearch 的前世今生 【转】
原文地址：http://www.sohu.com/a/324768840_100299155
01
需求的誕生
劉備一大早就來到了公司，一看張飛和關羽已經在公司了，就問道：“兩位賢弟，今天來的還蠻早啊。”
張飛一聽就炸毛了，“大哥，你讓我和二哥去做什么搜索功能，我們已經一晚沒睡了，昨天就沒回去好嘛。”
關羽也來氣，“大哥，是啊，我們剛剛才上線電商網站，你這邊又要加什么需求，現在用數據庫檢索不是好好的么，能不能讓我們歇口氣。”
“兩位兄弟辛苦了，我也不想啊，最近咱們一單生意都沒有啊。昨天我和一位朋友聊，他說我們的網站很不好用，找不到他想要的鞋，結果只好去別的地方買了。
不過他給我推薦了一位黑客高手，叫諸葛亮的家伙，說是啥都得懂，我們今天找他取經去。”
02
三顧茅廬
三人一行來找諸葛亮，不過前面兩次都碰了壁。
據諸葛亮書童說，諸葛亮不在家，到了第三次，還是不在家。張飛仔細一聽，明明是有人在家啊，而且玩游戲喊的聲音還這么大，張飛怒了，搭梯子把諸葛亮家的保險給拔了。諸葛亮正郁悶呢，咋停電了呢？算了，今天沒得玩了，于是讓書童請他們進來。
“在下諸葛名亮，字孔明，不知三位...”，三人一說，是這么這么回事。諸葛亮一聽，“哦，原來是這么這么回事啊，你們的網站我剛看了，你們家的草鞋品種確實不 Nan 少 Kan。
如今客戶上網站找東西，都是先用網站的搜索來搜一下，但是你們網站的搜索功能實在是太 La 弱 Ji，明擺在那里的商品我都搜不出來，實在是大問題啊。”
“這樣啊，我看你們仨都是好人，給你們推薦一個好東西，叫做 Elasticsearch，這個肯定可以幫助你們。”
“翼德，把先生放下來吧。”
“是，大哥。二哥，你把刀也放下吧。”
關羽一聽，好像在哪里聽說過 Elasticsearch，“大哥，這個東西好像有點耳熟啊，哦，諸葛亮先生這一說，我倒是記起來了，隔壁公司的呂布最近神神秘秘的，好像就是在用這個，難怪他們最近公司業務好的很”。
03
Elasticsearch 的故事
諸葛亮清了清嗓子，又從抽屜里摸出一把扇子，“還是讓我來給你們講講吧”。
“Elasticsearch 以前叫 Elastic Search。顧名思義，就是“彈性的搜索”。很明顯，它一開始是圍繞著搜索功能，打造了一個分布式搜索引擎，底層是基于開源的搜索引擎庫 Lucene，是由 Java 語言編寫的，項目大概是 2010 年 2 月份在 Github 正式落戶的。
咳咳，有必要首先給你介紹一下 Lucene。
Lucene 是一個非常古老的搜索引擎工具包，也是用 Java 編寫，主要用來構建倒排索引（一種數據結構）和對這些索引進行檢索，從而實現全文檢索功能。
Lucene 很強大，使用起來也非常靈活，缺點是它僅僅是一個基礎類庫，也沒有考慮到高并發和分布式的場景。
如果你想在自己的程序里面使用 Lucene，還是需要做很多工作，并且涉及很多搜索原理和索引數據結構的知識，這就給我們帶來了不少挑戰。所以，Lucene 的上手時間一般都比較長。”
關羽插了一句，“Lucene 我知道，確實賊難用，使用起來一堆問題啊，我之前試過來著。” 關羽說完，臉又紅了。
諸葛亮接著說。“時間一晃來到 2004 年，有一個以色列小伙子，名字叫謝伊·班農（ Shay Banon），他成親不久來到倫敦，因為當時他的夫人正好在倫敦學廚師。
初來乍到，也沒有找到工作，于是班農就打算寫一個叫作 iCook 的小程序來管理和搜索菜譜，一來練練手，方便找工作；二來這個小工具還可以給其夫人用。
班農在編寫 iCook 的過程中，使用了 Lucene，感受到了直接使用 Lucene 開發程序的各種暴擊和痛苦，于是他在 Lucene 之上，封裝了一個叫作 Compass 的程序框架，與 Hibernate 和 JPA 等 ORM 框架進行集成，通過操作對象的方式來自動地調用 Lucene 以構建索引。
這樣做的好處是，可以很方便地實現對‘領域對象’進行索引的創建，并實現‘字段級別’的檢索，以及實現‘全文搜索’功能。可以說，Compass 大大簡化了給 Java 程序添加搜索功能的開發。Compass 開源出來，變得很流行。
在 Compass 編寫到 2.x 版本的時候，社區里面出現了更多需求，比如需要有處理更多數據的能力以及分布式的設計。班農發現只有重寫 Compass ，才能更好地實現這些分布式搜索的需求，于是 Compass 3.0 就沒有了，取而代之的是一個全新的項目，也就是 Elasticsearch。”
04
讓人怦然心動的 Elasticsearch
看到劉備三人聽的入迷，諸葛亮輕揮羽扇，繼續說了下去。
“得益于 Compass 項目的積累，Elasticsearch 問世之初就考慮到了功能的易用性。
Elasticsearch 作為一個獨立的搜索服務器，提供了非常方便的搜索功能。用戶完全不用關心底層 Lucene 的細節，只需要通過標準的 Http+RESTful 風格的 API，就可以進行索引數據的增刪改查。數據的輸入輸出采用 JSON 格式，以文檔和面向對象的方式，這樣就能非常方便地理解和表達領域數據。”
張飛一拍桌子，“Elasticsearch 簡直就是一個 Compass 的 RESTful 實現啊！”
“沒錯。同時，Elasticsearch 基于分片和副本的方式實現了一個分布式的 Lucene Directory，再結合Map-reduce 的理念，實現了一個簡單的搜索請求分發合并的策略，能輕松化解海量索引和分布式高可用的問題。
可以說，僅僅依靠這兩點，Elasticsearch就已經秒殺了當時市面上所有的搜索引擎服務或是程序庫，我當時看到 Elasticsearch 也眼前一亮。
如今，Elasticsearch 基本上已經是搜索引擎市場排名第一的產品了，從 DB-Engines 網站的排名可以看到，Elasitcsearch 基本上是一騎絕紅塵，拉開第二名遠遠一大截。”
05
ELK 橫空出世
諸葛亮口水狂飆，顯得很興奮，“如果只是 Elasticsearch 單獨使用，那我們的故事也就結束了，事實上好戲這才剛剛開始。俗話說，一個好漢三個幫，開源社區亦是如此。”
“這一個好漢三個幫，說的不就是咱仨嘛。” 劉備接過話茬。
“別打岔，”諸葛亮繼續說，“這里我要說的是 ‘ELK’ 的出現，不過首先我要給你們講講 Logstash。”
Logstash 是一個開源的日志處理工具，用 JRuby 寫的，主要特點是基于靈活的 Pipeline 管道架構來處理數據。
什么意思呢？可以理解為將數據放進一個管道內進行處理，并且就跟真正的自來水管一樣，管道由一截一截管子組成，每一個小管代表著一個數據處理的流程，每一個流程只做一件事情，然后可以根據數據的處理需要，選擇多個不同類型的管子靈活組裝。
Logstash 社區非常活躍，支持多種輸入數據源和多種輸出數據源。一開始， Elasticsearch 只是作為其中一個輸出的存儲，主要用于日志數據的存儲。
不過，隨著大家把日志發送到 Elasticsearch 之后，大家發現這家伙用起來很方便嘛，不僅能夠存儲大量的數據，水平伸縮還很方便。更關鍵的是，你能夠很方便地把數據找出來，也就是進行全文搜索。
全文搜索在日志分析里面是非常基礎的一個功能，通過一個關鍵字就能定位具體的詳細日志，相比存放到關系型數據庫和普通的文件存儲，Elasticsearch 優勢非常明顯。于是 Logstash 搭配 Elasticsearch 變得很受歡迎。
06
Kibana 的故事
不過 Logstash 自帶的 UI 查詢日志的界面有點簡陋，于是有一個叫作 Rashid Khan 的運維工程師表示完全忍不了了，用 PHP 寫了一個叫作 Kibana 的程序，一個更好看和更好用的前端界面。PHP 寫完一版，他又用 Ruby 寫一版，后面又用 AngularJS 寫了一版，不僅有日志的搜索和查看，還加上了一些統計展示功能。
Kibana 的名字其實是倆個水果的名字的組合（Kiwi+Banana）。
張飛聽到這里：“工作不飽和啊這家伙”。孔明瞪了他一眼，繼續說道。
這個時候，Elasticsearch 已經有 Facet 概念，也就是分面統計（ 注：1.0 之后推出了 Aggregation 來代替 Facet），可以對數據里面的某個字段進行單個維度的統計，支持多種統計類型。
比如， TermFacet 可以計算字段里面某些值出現了多少次；Histogram Facet 還可以按時間區間進行匯總統計等。
這些統計功能在前端 UI 就可以被利用起來，展示一些餅圖、時間曲線等等，在運維的分析里面自然也都是需要的。慢慢的 Kibana 越做越復雜，支持的功能越來越多，Kibana 3 變得流行起來。
于是乎，ELK 橫空出世（Elasticsearch、Logstash 和 Kibana 這三個產品的首字母縮寫），風靡了整個運維界。
故事講到這里，相信你們對于 Elasticsearch 就有了一個大概的認識，可以用它做搜索，也可以用它做日志。”
張飛點點頭，“還是相當的強悍嘛。”
07
Elastic Stack 平臺的魅力
“不過，這還沒完。”諸葛亮吞了吞口水，繼續說。
“Elastic 后面又引入了 Beats 家族。這是一系列非常輕量級的數據收集端，我給你介紹幾個比較典型的，比如：
- Packetbeat 可以實時監聽網卡流量，并實時解析網絡協議數據，可用來做 NPM 網絡數據分析；
- Metricbeat 可以用來收集服務器，以及服務器上部署的應用服務的各項監控指標數據，這樣就可以替代 Zabbix 等傳統的監控軟件，來做服務器的性能指標分析；
- Auditbeat可以實時收集服務器的行為事件，用于安全方面的入侵檢測和安全日志審計分析；
- Winlogbeat用于 Windows 平臺的事件日志收集；
- Filebeat 用于日志文件的收集等。
Elasticsearch、Logstash、Kibana、Beats ，這幾個放在一起，就叫作 Elastic Stack。
如今，Elastic 的版圖越來越大，前年，Elastic 收購 Opbeat，開源了業界第一個完整的 APM 解決方案，通過探針可以實現無侵入的代碼級別的應用性能監控；
去年7月又收購了代碼搜索 Insight.IO，后續可以實現代碼級別的語義檢索。今年又收購了一個做終端安全的廠商 Endgame。這樣 Elastic Stack 這一個平臺就可以同時做到：
- 日志分析
- 性能指標分析
- 安全日志分析
- APM 應用性能分析
- NPM 網絡性能分析
- 網站站內搜索
- 企業級搜索
- 代碼搜索
- 實時 BI 業務分析
- SIEM 解決方案
- 終端設備安全
- ......
試想一下：
在一個風和日麗的下午，你手機上收到一條告警短信，于是點擊鏈接，打開 Kibana 的監控儀表盤，發現某臺服務器的 CPU 達到 100% 了。
于是，你順手點擊過濾這臺服務器的所有相關信息，可以看到相關的日志顯示，是這臺服務器上面部署的某一個業務服務的 QPS 有顯著下降，然后過濾到這個業務的日志，發現有很多異常的日志信息，前端 Nginx 代理日志還顯示有很多請求被拒絕，看樣子是后端的微服務處理能力達到瓶頸。
這個時候，繼續點擊 APM 的分析面板，切換到事務和會話分析界面，看到有很多數據庫鏈接處于開啟狀態。
你點擊查看調用代碼，立馬就找到了性能瓶頸的原因，原來是某個類的某個方法調用 MySQL 卻沒有及時釋放鏈接造成了泄露，于是修改這行代碼，提交上線，問題解決。然后，你可以若無其事地繼續瀏覽相親網站啦。
盡管這是一個假想的例子，但是可以看到，基于 Elastic Stack ，你可以覆蓋一整套完整的，從全局性能監控到具體代碼級別的排障和解決問題的過程，并且使用起來要比很多現有的方案更加高效和便捷。
好了，現在你們是否對 Elasticsearch 已經有了一個初步的了解呢？是不是也有躍躍欲試的打算？”
劉備點點頭：“今天來先生這里真的是收獲不少，之前多有冒犯，還請多多包涵啊。”
關羽也說：“大哥，明天我就和三弟開始研究 Elasticsearch，爭取早日改造好咱們的網站。”
“剛說的相親網站要不也發我一下”，張飛連忙問道。劉備沒好氣白了一眼張飛。
“天色已晚，告辭了！”
劉備三人作別孔明，各自高興的回家了。
“慢走不送，有空來喝茶啊。”
孔明抹了一把額頭，總算送走這仨了，恐怕從此江湖上估計要不平靜嘍。
轉載于:https://www.cnblogs.com/davidwang456/articles/11136367.html
總結
以上是生活随笔為你收集整理的Elasticsearch 的前世今生 【转】的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Spring整合redis，通过sent
- 下一篇： Java - Get a list of