使用 ES + 云開發實戰優化網站搜索

大家好，我是魚皮，今天搞一場技術實戰，需求分析 => 技術選型 => 設計實現，從 0 到 1，帶大家優化網站搜索的靈活性。

ES + 云開發搜索優化實戰

本文大綱：

背景

我開發的 編程導航網站 已經上線 6 個月了，但是從上線之初，網站一直存在一個很嚴重的問題，就是搜索功能并不好用。

此前，為了追求快速上線，搜索功能就簡單地使用了數據庫模糊查詢（包含）來實現，開發是方便了，但這種方式很不靈活。

舉個例子，網站上有個資源叫 “Java 設計模式”，而用戶搜索 “Java設計模式” 就啥都搜不出來，原因是資源名中包含了空格，而用戶搜索時輸入的關鍵詞并不包含空格。

空格只是一種特例，類似的情況還有很多，比如網站上有個資源叫 “Java 并發編程實戰”，但用戶搜索 “Java 實戰” 時，明明前者包含 “Java” 和 “實戰” 這兩個詞，但卻是什么都搜不出來的。

要知道，搜索功能對于一個信息聚合類站點是至關重要的，直接影響用戶的體驗。在你的網站上搜不到資源，誰還會用？

所以我也收到了一些小伙伴的禮貌建議，比如這位禿頭 Tom：

之前沒有優化搜索，主要是兩個原因：窮 + 怕麻煩。但隨著網站用戶量的增大，是時候填坑了！

技術選型

想要提高網站搜索靈活性，可以使用 全文搜索 技術，在前端和后端都可以實現。

前端全文搜索

有時，我們要檢索的數據是有限的，且所有數據都是 存儲在客戶端 的。

比如個人博客網站，我們通常會把每篇文章作為一個文件存放在某目錄下，而不是存在后臺數據庫中，這種情況下，不需要再從服務器上去請求動態數據，那么可以直接在前端搜索數據。

有一些現成的搜索庫，比如 Lunr.js（GitHub 7k+ star），先添加要檢索的內容：

var idx = lunr(function () {this.field('title')this.field('body')// 內容this.add({"title": "yupi","body": "wx搜程序員魚皮，閱讀我的原創文章","id": "1"}) })

然后搜索就可以了：

idx.search("魚皮")

純前端全文搜索的好處是無需后端、簡單方便，可以節省服務器的壓力；無需連網，也沒有額外的網絡開銷，檢索更快速。

后端全文搜索

區別于前端，后端全文搜索在服務器上完成，從遠程數據庫中搜索符合要求的數據，再直接返回給前端。

目前主流的后端全文搜索技術是 Elasticsearch，一個分布式、RESTful 風格的搜索和數據分析引擎。

它的功能強大且靈活，但是需要自己搭建、定義數據、管理詞典、上傳和維護數據等，可操作性很強，需要一些水平，新手和大佬設計出的 ES 搜索系統那是天差地別。

所以，對于不熟悉 Elasticsearch 的同學，也可以直接使用現成的全文檢索服務。比如 Algolia，直接通過它提供的 API 上傳需要檢索的數據，再用它提供的 API 檢索就行了。它提供了一定的免費空間，對于小型網站和學習使用完全足夠了。

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-vXPF94km-1627881820886)(https://qiniuyun.code-nav.cn/image-20210729130939206.png)]

選擇

那么我的編程導航網站選擇哪種實現方式呢？

首先，該網站的資源數是不固定的、無規律動態更新的，因此不適合前端全文檢索。

其次，考慮到日后網站的數據量會比較大，而且可能要根據用戶的搜索動態地去優化檢索系統（比如自定義編程詞典），因此考慮使用 Elasticsearch 技術 自行搭建搜索引擎，而不用現成的全文檢索服務，這樣今后自己想怎么定制系統都可以。此外，不用向其他平臺發送網站數據，能保證數據的安全。

ES 安裝

確定使用 Elasticsearch 后，要先搭建環境。

可以自己購買服務器，再按照官方文檔一步步手動安裝。對于有一定規模的個人網站來說，雖然搭建過程不難，但后期的維護成本卻是巨大的，比如性能分析、監控、告警、安全等等，都需要自己來配置。尤其是后期網站數據量更大了，還要考慮搭建集群、水平擴容等等。

因此，我選擇直接使用云服務商提供的 Elasticsearch 服務，這里選擇騰訊云，自動為你搭建了現成的 ES 集群服務，還提供了可視化架構管理、集群監控、日志、高級插件、智能巡檢等功能。

雖然 ES 服務的價格貴，但節省下大量時間成本，對我來說是值得的。

還有個很方便的定制化搜索服務 Elastic App Search，大家感興趣可以試試。

ES 公共服務

我們的目標是優化網站資源的搜索功能，但接下來要做的不是直接編寫具體的業務邏輯，而是先開發一個 公共的 ES 服務 。

其實對 ES 的操作比較簡單，可以先簡單地把它理解為一個數據庫，那么公共的 ES 服務應具有基本的增刪改查功能，供其他函數調用。

實現

由于編程導航的后端使用的是騰訊云開發技術，用 Node.js 來編寫服務，所以選用官方推薦的 @elastic/elasticsearch 庫來操作 ES。

沒用過云開發也沒事，可以先把它理解為一個后端，歡迎閱讀我之前的文章：了解云開發 。

代碼很簡單，先是建立和 ES 的連接，此處為了保證數據安全，使用內網地址：

const client = new Client({// 內網地址node: 'http://10.0.61.1:9200',// 用戶名和密碼auth: {username: esConfig.username,password: esConfig.password,}, });

然后是編寫增刪改查。這里做一步 抽象，通過 switch 等分支語句，根據請求參數來區分操作、要操作的數據等，這樣就不用把每個操作都獨立寫成一個接口了。

// 接受請求參數 const { op, index, id, params } = event; // 根據操作執行增刪改查 switch (op) {case 'add':return doAdd(index, id, params);case 'delete':return doDelete(index, id);case 'search':return doSearch(index, params);case 'update':return doUpdate(index, id, params); }

在云開發中，假如某個函數太久沒被調用，就會釋放資源。下次請求時，會進行冷啟動，重新創建資源，導致接口返回較慢。因此，把多個操作封裝到同一個函數中，也可以減少冷啟動的幾率。

具體的增刪改查代碼就不贅述了，對著 ES Node 的官方文檔看一遍就行了，后面會把代碼開源到編程導航倉庫中（https://github.com/liyupi/code-nav）。

本地調試

編寫好代碼后，可以用云開發自帶的 tcb 命令行工具在本地執行該函數。

記得先把 ES 的連接地址改成公網，然后輸入一行命令就行了。比如我們要向 ES 插入一條數據，傳入要執行的函數名、請求參數、代碼路徑：

tcb fn run --name <functionName>--params "{\"op\": \"add\"}"--path <functionPath>

執行成功后，就能在 ES 中看到新插入的數據了（通過 Kibana 面板或 curl 查看）：

遠程測試

本地測試好公共服務代碼后，把 ES 連接地址改成內網 IP，然后發布到云端。

接下來試著編寫一個其他的函數來訪問公共 ES 服務，比如插入資源到 ES，通過 callFunction 請求：

// 添加資源到 ES function addData() {// 請求公共服務app.callFunction({name: 'esService',data: {op: 'add',index: 'resource',id,params: data,}}); }

但是，數據并沒有被成功插入，而是返回了接口超時，Why？

內網配置

通過日志得知是 ES 連接不上，會不會是因為發布上線的 ES 公共服務所在的機器和 ES 不在同一個內網呢？

所以需要在云開發控制臺更改 ES 公共服務的私有網絡配置，選擇和購買 ES 時同樣的子網就行了：

修改之后，再次遠程請求 ES 公共服務，數據就插入成功了~

數據索引

開發好 ES 公共服務后，就可以編寫具體的業務邏輯了。

首先要在 ES 中建立一個索引（類似數據庫的表），來約定數據的類型、分詞等信息，而不是允許隨意插入數據。

比如為了更靈活搜索，資源名應該指定為 “text” 類型，以開啟分詞，并指定 ik 中文分詞器：

"name": {"type": "text","analyzer": "ik_max_word","search_analyzer": "ik_smart","fields": {"keyword": {"type": "keyword","ignore_above": 256}} }

而點贊數應設置為 “long” 類型，只允許傳入數字：

"likeNum": {"type": "long" }

最好還要為索引指定一個別名，便于后續修改字段時重建索引：

"aliases" : { "resource": {}}

編寫好建立索引的 json 配置后，通過 curl 或 Kibana 去調用 ES 新建索引接口就行了。

數據同步

之前，編程導航網站的資源數據都是存在數據庫中的，用戶從數據庫中查詢。而現在要改為從 ES 中查詢，ES 空空如也可不行，得想辦法把數據庫中的資源數據同步到 ES 中。

這里有幾種同步策略。

雙寫

以前，用戶推薦的資源只會插入到數據庫，雙寫是指在資源插入數據庫的時候，同時插入到 ES 就好了。

聽上去挺簡單的，但這種方式存在一些問題：

會改動以前的代碼，每個寫數據庫的地方都要補充寫入 ES。

會存在一邊兒寫入失敗、另一邊兒成功的情況，導致數據庫和 ES 的數據不一致。

那有沒有對現有代碼 侵入更小 的方法呢？

定時同步

如果對數據實時性的要求不高，可以選擇定時同步，每隔一段時間將最新插入或修改的數據從數據庫復制到 ES 上。

實現方式有很多種，比如用 Logstash 數據傳輸管道，或者自己編寫定時任務程序，這樣就完全不用改現有的代碼。

實時同步

如果對數據實時性要求很高，剛剛插入數據庫的數據就要能立刻就能被搜索到，那么就要實時同步。除了雙寫外，還可以監聽數據庫的 binlog，在數據庫發生任何變更時，我們都能感知到。

阿里有個開源項目叫 Canal ，能夠實時監聽 MySQL 數據庫，并推送通知給下游，感興趣的朋友可以看看。

實現

由于編程資源的搜索對實時性要求不高，所以定時同步就 ok。

云開發默認提供了定時函數功能，我就直接寫一個云函數，每 1 分鐘執行一次，每次讀取數據庫中近 5 分鐘內發生了變更的數據，以防止上次執行失敗的情況。此外，還要配置超時時間，防止函數執行時間過長導致的執行失敗。

在云開發 - 云函數控制臺就能可視化配置了，需要為定時任務指定一個 crontab 表達式：

開啟定時同步后，不要忘了再編寫并執行一個 首次 同步函數，用于將歷史的全量數據同步到 ES。

數據檢索

現在 ES 上已經有數據了，只剩最后一步，就是怎么把數據搜出來呢？

首先我們要學習 ES 的搜索 DSL（語法），包括如何取列、搜索、過濾、分頁、排序等，對新手來講，還是有點麻煩的，尤其是查詢條件中布爾表達式的組合，稍微不注意就查不出數據。所以建議大家先在 Kibana 提供的調試工具中編寫查詢語法：

查出預期的數據后，再編寫后端的搜索函數，接受的請求參數最好和原接口保持一致，減少改動。

可以根據前端傳來的請求動態拼接查詢語法，比如要按照資源名搜索：

// 傳了資源名if (name) { // 拼接查詢語句 query.bool.should = [ { match: { name } } ];}

由此，整個網站的搜索優化完畢。

再去試一下效果，現在哪怕我輸入一些多 “魚” 的詞，也能搜到了！

ES 是怎么實現靈活搜索的呢？歡迎閱讀 這篇文章 。

新 ES 搜索接口的發布并不意味著老的數據庫查詢接口淘汰，可以同時保留。按名稱搜索資源時用新接口，更靈活；而根據審核狀態、搜索某用戶發布過的資源時，可以用老接口，從數據庫查。從而分攤負載，職責分離，讓對的技術做對的事情！

---

以上就是本期分享，有幫助的話點個贊吧 ??

我是魚皮，最后再送大家一些 幫助我拿到大廠 offer 的學習資料：

跑了，留下 6T 的資源！

歡迎閱讀 我從 0 自學進入騰訊的編程學習、求職、考證、寫書經歷，不再迷茫！

我學計算機的四年，共勉！

總結

以上是生活随笔為你收集整理的优化了破网站的搜索功能的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。