48-Elasticsearch-2(DSL查询_搜索结果处理_RestClient查询文档)
48-Elasticsearch-2(DSL查詢_搜索結果處理_RestClient查詢文檔)
筆記內容來源于黑馬程序員教學視頻
文章目錄
- 48-Elasticsearch-2(DSL查詢_搜索結果處理_RestClient查詢文檔)
- 一、DSL查詢文檔
- ①：DSL查詢分類
- ②：全文檢索查詢
- 1.使用場景
- 2.基本語法
- 3.示例
- 4.總結
- ③：精準查詢
- 1.term查詢
- 2.range查詢
- 3.總結
- ④：地理坐標查詢
- 1.矩形范圍查詢
- 2.附近查詢
- ⑤：復合查詢
- 1.相關性算分
- 2.算分函數查詢
- 01.語法說明
- 02.示例
- 03.小結
- 3.布爾查詢
- 01.語法示例：
- 02.示例
- 03.小結
- 二、搜索結果處理
- ①：排序
- 1.普通字段排序
- 2.地理坐標排序
- ②：分頁
- 1.基本的分頁
- 2.深度分頁問題
- 3.小結
- ③：高亮
- 1.高亮原理
- 2.實現高亮
- ④：.總結
- 三、RestClient查詢文檔
- ①：快速入門
- 1.發起查詢請求
- 2.解析響應
- 3.完整代碼
- 4.小結
- ②：match查詢
- ③：精確查詢
- ④：布爾查詢
- ⑤：排序、分頁
- ⑥：高亮
- 1.高亮請求構建
- 2.高亮結果解析
- 四、黑馬旅游案例
- ①：酒店搜索和分頁
- 1.需求分析
- 2.定義實體類
- 3.定義controller
- 4.實現搜索業務
- ②：酒店結果過濾
- 1.需求分析
- 2.修改實體類
- 3.修改搜索業務
- ③：我周邊的酒店
- 1.需求分析
- 2.修改實體類
- 3.距離排序API
- 4.添加距離排序
- 5.排序距離顯示
- ④：酒店競價排名
- 1.需求分析
- 2.修改HotelDoc實體
- 3.添加廣告標記
- 4.添加算分函數查詢
一、DSL查詢文檔
elasticsearch的查詢依然是基于JSON風格的DSL來實現的。
①：DSL查詢分類
Elasticsearch提供了基于JSON的DSL（Domain Specific Language）來定義查詢。常見的查詢類型包括：
-
查詢所有：查詢出所有數據，一般測試用。例如：match_all
-
全文檢索（full text）查詢：利用分詞器對用戶輸入內容分詞，然后去倒排索引庫中匹配。例如：
- match_query
- multi_match_query
-
精確查詢：根據精確詞條值查找數據，一般是查找keyword、數值、日期、boolean等類型字段。例如：
- ids
- range
- term
-
地理（geo）查詢：根據經緯度查詢。例如：
- geo_distance
- geo_bounding_box
-
復合（compound）查詢：復合查詢可以將上述各種查詢條件組合起來，合并查詢條件。例如：
- bool
- function_score
查詢的語法基本一致：
GET /indexName/_search {"query": {"查詢類型": {"查詢條件": "條件值"}} }我們以查詢所有為例，其中：
- 查詢類型為match_all
- 沒有查詢條件
其它查詢無非就是查詢類型、查詢條件的變化。
②：全文檢索查詢
1.使用場景
全文檢索查詢的基本流程如下：
- 對用戶搜索的內容做分詞，得到詞條
- 根據詞條去倒排索引庫中匹配，得到文檔id
- 根據文檔id找到文檔，返回給用戶
比較常用的場景包括：
- 商城的輸入框搜索
- 百度輸入框搜索
例如京東：
因為是拿著詞條去匹配，因此參與搜索的字段也必須是可分詞的text類型的字段。
2.基本語法
常見的全文檢索查詢包括：
- match查詢：單字段查詢
- multi_match查詢：多字段查詢，任意一個字段符合條件就算符合查詢條件
match查詢語法如下：
GET /indexName/_search {"query": {"match": {"FIELD": "TEXT"}} }mulit_match語法如下：
GET /indexName/_search {"query": {"multi_match": {"query": "TEXT","fields": ["FIELD1", " FIELD12"]}} }3.示例
match查詢示例：
案例：
如果此處沒有all字段，（刪除索引，在重新添加索引，執行批量添加文檔）
multi_match查詢示例：
查找條件多個字段
可以看到，兩種查詢結果是一樣的，為什么？
因為我們將brand、name、business值都利用copy_to復制到了all字段中。因此你根據三個字段搜索，和根據all字段搜索效果當然一樣了。
但是，搜索字段越多，對查詢性能影響越大，因此建議采用copy_to，然后單字段查詢的方式。
4.總結
match和multi_match的區別是什么？
- match：根據一個字段查詢
- multi_match：根據多個字段查詢，參與查詢字段越多，查詢性能越差
③：精準查詢
精確查詢一般是查找keyword、數值、日期、boolean等類型字段。所以不會對搜索條件分詞。常見的有：
- term：根據詞條精確值查詢
- range：根據值的范圍查詢
1.term查詢
因為精確查詢的字段搜是不分詞的字段，因此查詢的條件也必須是不分詞的詞條。查詢時，用戶輸入的內容跟自動值完全匹配時才認為符合條件。如果用戶輸入的內容過多，反而搜索不到數據。
語法說明：
// term查詢 GET /indexName/_search {"query": {"term": {"FIELD": {"value": "VALUE"}}} }示例：
當我搜索的是精確詞條時，能正確查詢出結果：
但是，當我搜索的內容不是詞條，而是多個詞語形成的短語時，反而搜索不到：
2.range查詢
范圍查詢，一般應用在對數值類型做范圍過濾的時候。比如做價格范圍過濾。
基本語法：
// range查詢 GET /indexName/_search {"query": {"range": {"FIELD": {"gte": 10, // 這里的gte代表大于等于，gt則代表大于"lte": 20 // lte代表小于等于，lt則代表小于}}} }示例：根據價格范圍查詢
3.總結
精確查詢常見的有哪些？
- term查詢：根據詞條精確匹配，一般搜索keyword類型、數值類型、布爾類型、日期類型字段
- range查詢：根據數值范圍查詢，可以是數值、日期的范圍
④：地理坐標查詢
所謂的地理坐標查詢，其實就是根據經緯度查詢，官方文檔：https://www.elastic.co/guide/en/elasticsearch/reference/current/geo-queries.html
常見的使用場景包括：
- 攜程：搜索我附近的酒店
- 滴滴：搜索我附近的出租車
- 微信：搜索我附近的人
附近的酒店：
附近的車：
1.矩形范圍查詢
矩形范圍查詢，也就是geo_bounding_box查詢，查詢坐標落在某個矩形范圍的所有文檔：
查詢時，需要指定矩形的左上、右下兩個點的坐標，然后畫出一個矩形，落在該矩形內的都是符合條件的點。
語法如下：
// geo_bounding_box查詢 GET /indexName/_search {"query": {"geo_bounding_box": {"FIELD": {"top_left": { // 左上點"lat": 31.1,"lon": 121.5},"bottom_right": { // 右下點"lat": 30.9,"lon": 121.7}}}} }2.附近查詢
附近查詢，也叫做距離查詢（geo_distance）：查詢到指定中心點小于某個距離值的所有文檔。
換句話來說，在地圖上找一個點作為圓心，以指定距離為半徑，畫一個圓，落在圓內的坐標都算符合條件：
語法說明：
// geo_distance 查詢 GET /indexName/_search {"query": {"geo_distance": {"distance": "15km", // 半徑"FIELD": "31.21,121.5" // 圓心}} }示例：
我們先搜索陸家嘴附近15km的酒店：
發現共有47家酒店。
然后把半徑縮短到3公里：
可以發現，搜索到的酒店數量減少到了5家。
⑤：復合查詢
復合（compound）查詢：復合查詢可以將其它簡單查詢組合起來，實現更復雜的搜索邏輯。常見的有兩種：
- fuction score：算分函數查詢，可以控制文檔相關性算分，控制文檔排名
- bool query：布爾查詢，利用邏輯關系組合多個其它的查詢，實現復雜搜索
1.相關性算分
當我們利用match查詢時，文檔結果會根據與搜索詞條的關聯度打分（_score），返回結果時按照分值降序排列。
例如，我們搜索 “虹橋如家”，結果如下：
[{"_score" : 17.850193,"_source" : {"name" : "虹橋如家酒店真不錯",}},{"_score" : 12.259849,"_source" : {"name" : "外灘如家酒店真不錯",}},{"_score" : 11.91091,"_source" : {"name" : "迪士尼如家酒店真不錯",}} ]在elasticsearch中，早期使用的打分算法是TF-IDF算法，公式如下：
在后來的5.1版本升級中，elasticsearch將算法改進為BM25算法，公式如下：
TF-IDF算法有一個缺陷，就是詞條頻率越高，文檔得分也會越高，單個詞條對文檔影響較大。而BM25則會讓單個詞條的算分有一個上限，曲線更加平滑：
小結：elasticsearch會根據詞條和文檔的相關度做打分，算法由兩種：
- TF-IDF算法
- BM25算法，elasticsearch5.1版本后采用的算法
2.算分函數查詢
根據相關度打分是比較合理的需求，但合理的不一定是產品經理需要的。
以百度為例，你搜索的結果中，并不是相關度越高排名越靠前，而是誰掏的錢多排名就越靠前。如圖：
要想認為控制相關性算分，就需要利用elasticsearch中的function score 查詢了。
01.語法說明
function score 查詢中包含四部分內容：
- 原始查詢條件：query部分，基于這個條件搜索文檔，并且基于BM25算法給文檔打分，原始算分（query score)
- 過濾條件：filter部分，符合該條件的文檔才會重新算分
- 算分函數：符合filter條件的文檔要根據這個函數做運算，得到的函數算分（function score），有四種函數
- weight：函數結果是常量
- field_value_factor：以文檔中的某個字段值作為函數結果
- random_score：以隨機數作為函數結果
- script_score：自定義算分函數算法
- 運算模式：算分函數的結果、原始查詢的相關性算分，兩者之間的運算方式，包括：
- multiply：相乘
- replace：用function score替換query score
- 其它，例如：sum、avg、max、min
function score的運行流程如下：
- 1）根據原始條件查詢搜索文檔，并且計算相關性算分，稱為原始算分（query score）
- 2）根據過濾條件，過濾文檔
- 3）符合過濾條件的文檔，基于算分函數運算，得到函數算分（function score）
- 4）將原始算分（query score）和函數算分（function score）基于運算模式做運算，得到最終結果，作為相關性算分。
因此，其中的關鍵點是：
- 過濾條件：決定哪些文檔的算分被修改
- 算分函數：決定函數算分的算法
- 運算模式：決定最終算分結果
02.示例
需求：給“如家”這個品牌的酒店排名靠前一些
翻譯一下這個需求，轉換為之前說的四個要點：
- 原始條件：不確定，可以任意變化
- 過濾條件：brand = “如家”
- 算分函數：可以簡單粗暴，直接給固定的算分結果，weight
- 運算模式：比如求和
因此最終的DSL語句如下：
GET /hotel/_search {"query": {"function_score": {"query": { .... }, // 原始查詢，可以是任意條件"functions": [ // 算分函數{"filter": { // 滿足的條件，品牌必須是如家"term": {"brand": "如家"}},"weight": 2 // 算分權重為2}],"boost_mode": "sum" // 加權模式，求和}} }測試，在未添加算分函數時，如家得分如下：
添加了算分函數后，如家得分就提升了：
03.小結
function score query定義的三要素是什么？
- 過濾條件：哪些文檔要加分
- 算分函數：如何計算function score
- 加權方式：function score 與 query score如何運算
3.布爾查詢
布爾查詢是一個或多個查詢子句的組合，每一個子句就是一個子查詢。子查詢的組合方式有：
- must：必須匹配每個子查詢，類似“與”
- should：選擇性匹配子查詢，類似“或”
- must_not：必須不匹配，不參與算分，類似“非”
- filter：必須匹配，不參與算分
比如在搜索酒店時，除了關鍵字搜索外，我們還可能根據品牌、價格、城市等字段做過濾：
每一個不同的字段，其查詢的條件、方式都不一樣，必須是多個不同的查詢，而要組合這些查詢，就必須用bool查詢了。
需要注意的是，搜索時，參與打分的字段越多，查詢的性能也越差。因此這種多條件查詢時，建議這樣做：
- 搜索框的關鍵字搜索，是全文檢索查詢，使用must查詢，參與算分
- 其它過濾條件，采用filter查詢。不參與算分
01.語法示例：
GET /hotel/_search {"query": {"bool": {"must": [{"term": {"city": "上海" }}],"should": [{"term": {"brand": "皇冠假日" }},{"term": {"brand": "華美達" }}],"must_not": [{ "range": { "price": { "lte": 500 } }}],"filter": [{ "range": {"score": { "gte": 45 } }}]}} }02.示例
需求：搜索名字包含“如家”，價格不高于400，在坐標31.21,121.5周圍10km范圍內的酒店。
分析：
- 名稱搜索，屬于全文檢索查詢，應該參與算分。放到must中
- 價格不高于400，用range查詢，屬于過濾條件，不參與算分。放到must_not中
- 周圍10km范圍內，用geo_distance查詢，屬于過濾條件，不參與算分。放到filter中
- 完整代碼
03.小結
bool查詢有幾種邏輯關系？
- must：必須匹配的條件，可以理解為“與”
- should：選擇性匹配的條件，可以理解為“或”
- must_not：必須不匹配的條件，不參與打分
- filter：必須匹配的條件，不參與打分
二、搜索結果處理
搜索的結果可以按照用戶指定的方式去處理或展示。
①：排序
elasticsearch默認是根據相關度算分（_score）來排序，但是也支持自定義方式對搜索結果排序。可以排序字段類型有：keyword類型、數值類型、地理坐標類型、日期類型等。
1.普通字段排序
keyword、數值、日期類型排序的語法基本一致。
語法：
GET /indexName/_search {"query": {"match_all": {}},"sort": [{"FIELD": "desc" // 排序字段、排序方式ASC、DESC}] }排序條件是一個數組，也就是可以寫多個排序條件。按照聲明的順序，當第一個條件相等時，再按照第二個條件排序，以此類推
示例：
需求描述：酒店數據按照用戶評價（score)降序排序，評價相同的按照價格(price)升序排序
- 完整代碼
2.地理坐標排序
地理坐標排序略有不同。
語法說明：
GET /indexName/_search {"query": {"match_all": {}},"sort": [{"_geo_distance" : {"FIELD" : "緯度，經度", // 文檔中geo_point類型的字段名、目標坐標點"order" : "asc", // 排序方式"unit" : "km" // 排序的距離單位}}] }這個查詢的含義是：
- 指定一個坐標，作為目標點
- 計算每一個文檔中，指定字段（必須是geo_point類型）的坐標 到目標點的距離是多少
- 根據距離排序
示例：
需求描述：實現對酒店數據按照到你的位置坐標的距離升序排序
提示：獲取你的位置的經緯度的方式：https://lbs.amap.com/demo/jsapi-v2/example/map/click-to-get-lnglat/
假設我的位置是：31.034661，121.612282，尋找我周圍距離最近的酒店。
②：分頁
elasticsearch 默認情況下只返回top10的數據。而如果要查詢更多數據就需要修改分頁參數了。elasticsearch中通過修改from、size參數來控制要返回的分頁結果：
- from：從第幾個文檔開始
- size：總共查詢幾個文檔
類似于mysql中的limit ?, ?
1.基本的分頁
分頁的基本語法如下：
GET /hotel/_search {"query": {"match_all": {}},"from": 0, // 分頁開始的位置，默認為0"size": 10, // 期望獲取的文檔總數"sort": [{"price": "asc"}] }2.深度分頁問題
現在，我要查詢990~1000的數據，查詢邏輯要這么寫：
GET /hotel/_search {"query": {"match_all": {}},"from": 990, // 分頁開始的位置，默認為0"size": 10, // 期望獲取的文檔總數"sort": [{"price": "asc"}] }這里是查詢990開始的數據，也就是 第990~第1000條 數據。
不過，elasticsearch內部分頁時，必須先查詢 0~1000條，然后截取其中的990 ~ 1000的這10條：
查詢TOP1000，如果es是單點模式，這并無太大影響。
但是elasticsearch將來一定是集群，例如我集群有5個節點，我要查詢TOP1000的數據，并不是每個節點查詢200條就可以了。
因為節點A的TOP200，在另一個節點可能排到10000名以外了。
因此要想獲取整個集群的TOP1000，必須先查詢出每個節點的TOP1000，匯總結果后，重新排名，重新截取TOP1000。
那如果我要查詢9900~10000的數據呢？是不是要先查詢TOP10000呢？那每個節點都要查詢10000條？匯總到內存中？
當查詢分頁深度較大時，匯總數據過多，對內存和CPU會產生非常大的壓力，因此elasticsearch會禁止from+ size 超過10000的請求。
針對深度分頁，ES提供了兩種解決方案，官方文檔：
- search after：分頁時需要排序，原理是從上一次的排序值開始，查詢下一頁數據。官方推薦使用的方式。
- scroll：原理將排序后的文檔id形成快照，保存在內存。官方已經不推薦使用。
3.小結
分頁查詢的常見實現方案以及優缺點：
-
from + size：
- 優點：支持隨機翻頁
- 缺點：深度分頁問題，默認查詢上限（from + size）是10000
- 場景：百度、京東、谷歌、淘寶這樣的隨機翻頁搜索
-
after search：
- 優點：沒有查詢上限（單次查詢的size不超過10000）
- 缺點：只能向后逐頁查詢，不支持隨機翻頁
- 場景：沒有隨機翻頁需求的搜索，例如手機向下滾動翻頁
-
scroll：
- 優點：沒有查詢上限（單次查詢的size不超過10000）
- 缺點：會有額外內存消耗，并且搜索結果是非實時的
- 場景：海量數據的獲取和遷移。從ES7.1開始不推薦，建議用 after search方案。
③：高亮
1.高亮原理
什么是高亮顯示呢？
我們在百度，京東搜索時，關鍵字會變成紅色，比較醒目，這叫高亮顯示：
高亮顯示的實現分為兩步：
- 1）給文檔中的所有關鍵字都添加一個標簽，例如<em>標簽
- 2）頁面給<em>標簽編寫CSS樣式
2.實現高亮
高亮的語法：
GET /hotel/_search {"query": {"match": {"FIELD": "TEXT" // 查詢條件，高亮一定要使用全文檢索查詢}},"highlight": {"fields": { // 指定要高亮的字段"FIELD": {"pre_tags": "<em>", // 用來標記高亮字段的前置標簽"post_tags": "</em>" // 用來標記高亮字段的后置標簽}}} }注意：
- 高亮是對關鍵字高亮，因此搜索條件必須帶有關鍵字，而不能是范圍這樣的查詢。
- 默認情況下，高亮的字段，必須與搜索指定的字段一致，否則無法高亮
- 如果要對非搜索字段高亮，則需要添加一個屬性：required_field_match=false
示例：
④：.總結
查詢的DSL是一個大的JSON對象，包含下列屬性：
- query：查詢條件
- from和size：分頁條件
- sort：排序條件
- highlight：高亮條件
示例：
三、RestClient查詢文檔
文檔的查詢同樣適用昨天學習的 RestHighLevelClient對象，基本步驟包括：
- 1）準備Request對象
- 2）準備請求參數
- 3）發起請求
- 4）解析響應
①：快速入門
我們以match_all查詢為例
1.發起查詢請求
代碼解讀：
-
第一步，創建SearchRequest對象，指定索引庫名
-
第二步，利用request.source()構建DSL，DSL中可以包含查詢、分頁、排序、高亮等
- query()：代表查詢條件，利用QueryBuilders.matchAllQuery()構建一個match_all查詢的DSL
-
第三步，利用client.search()發送請求，得到響應
這里關鍵的API有兩個，一個是request.source()，其中包含了查詢、排序、分頁、高亮等所有功能：
另一個是QueryBuilders，其中包含match、term、function_score、bool等各種查詢：
2.解析響應
響應結果的解析：
elasticsearch返回的結果是一個JSON字符串，結構包含：
- hits：命中的結果
- total：總條數，其中的value是具體的總條數值
- max_score：所有結果中得分最高的文檔的相關性算分
- hits：搜索結果的文檔數組，其中的每個文檔都是一個json對象
- _source：文檔中的原始數據，也是json對象
因此，我們解析響應結果，就是逐層解析JSON字符串，流程如下：
- SearchHits：通過response.getHits()獲取，就是JSON中的最外層的hits，代表命中的結果
- SearchHits#getTotalHits().value：獲取總條數信息
- SearchHits#getHits()：獲取SearchHit數組，也就是文檔數組
- SearchHit#getSourceAsString()：獲取文檔結果中的_source，也就是原始的json文檔數據
3.完整代碼
完整代碼如下：
package cn.itcast.hotel;import cn.itcast.hotel.pojo.Hotel; import cn.itcast.hotel.pojo.HotelDoc; import cn.itcast.hotel.service.IHotelService; import com.alibaba.fastjson.JSON; import org.apache.http.HttpHost; import org.apache.lucene.search.TotalHits; import org.elasticsearch.action.bulk.BulkRequest; import org.elasticsearch.action.delete.DeleteRequest; import org.elasticsearch.action.get.GetRequest; import org.elasticsearch.action.get.GetResponse; import org.elasticsearch.action.index.IndexRequest; import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.action.update.UpdateRequest; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestClient; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.common.xcontent.XContentType; import org.elasticsearch.index.query.QueryBuilder; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.search.SearchHit; import org.elasticsearch.search.SearchHits; import org.elasticsearch.search.builder.SearchSourceBuilder; import org.junit.jupiter.api.AfterEach; import org.junit.jupiter.api.BeforeEach; import org.junit.jupiter.api.Test; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.test.context.SpringBootTest;import javax.naming.directory.SearchResult; import java.io.IOException; import java.util.Arrays; import java.util.List;@SpringBootTest public class HotelSearchTest {@Autowiredprivate IHotelService iHotelService;private RestHighLevelClient client;@Testvoid testMatchAll() throws IOException {// 1. 準備RequestSearchRequest request = new SearchRequest("hotel");// 2. 準備DSLrequest.source().query(QueryBuilders.matchAllQuery());// 3. 發送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4.解析responseSearchHits searchHits = response.getHits();// 4.2 獲取總條數long total = searchHits.getTotalHits().value;System.out.println("共有 "+total+ " 條數據");// 4.3 文檔數組SearchHit[] hitsHits = searchHits.getHits();// 4.4 遍歷for (SearchHit hitsHit : hitsHits){// 4.5 反序列化String json = hitsHit.getSourceAsString();HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);System.out.println(hotelDoc);}}@BeforeEachvoid setUp() {this.client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.100.200:9200")));}@AfterEachvoid tearDown() throws IOException {this.client.close();} }4.小結
查詢的基本步驟是：
創建SearchRequest對象
準備Request.source()，也就是DSL。
① QueryBuilders來構建查詢條件
② 傳入Request.source() 的 query() 方法
發送請求，得到結果
解析結果（參考JSON結果，從外到內，逐層解析）
②：match查詢
全文檢索的match和multi_match查詢與match_all的API基本一致。差別是查詢條件，也就是query的部分。
因此，Java代碼上的差異主要是request.source().query()中的參數了。同樣是利用QueryBuilders提供的方法：
而結果解析代碼則完全一致，可以抽取并共享。
完整代碼如下：
@Autowiredprivate IHotelService iHotelService;private RestHighLevelClient client;@Testvoid testMatch() throws IOException {// 1. 準備RequestSearchRequest request = new SearchRequest("hotel");// 2. 準備DSLMatchQueryBuilder queryBuilder = QueryBuilders.matchQuery("all", "如家");request.source().query(queryBuilder);// 3.發送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4. 解析responseSearchHits searchHits = response.getHits();// 4.2 獲取總數量long total = searchHits.getTotalHits().value;System.out.println("共有 "+total+ " 條數據");// 4.3 文檔數據SearchHit[] hitsHits = searchHits.getHits();// 4.4 遍歷for (SearchHit hitsHit : hitsHits) {// 4.5 反序列化String json = hitsHit.getSourceAsString();HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);System.out.println(hotelDoc);}}進行優化抽取后的代碼
@Autowiredprivate IHotelService iHotelService;private RestHighLevelClient client;@Testvoid testMatch() throws IOException {// 1. 準備RequestSearchRequest REQUEST = new SearchRequest("hotel");// 2. 準備DSLMatchQueryBuilder queryBuilder = QueryBuilders.matchQuery("all", "如家");REQUEST.source().query(queryBuilder);// 3.發送請求SearchResponse response = client.search(REQUEST, RequestOptions.DEFAULT);extracted(response);}private void extracted(SearchResponse response) {// 4. 解析responseSearchHits searchHits = response.getHits();// 4.2 獲取總數量long total = searchHits.getTotalHits().value;System.out.println("共有 "+total+ " 條數據");// 4.3 文檔數據SearchHit[] hitsHits = searchHits.getHits();// 4.4 遍歷for (SearchHit hitsHit : hitsHits) {// 4.5 反序列化String json = hitsHit.getSourceAsString();HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);System.out.println(hotelDoc);}}③：精確查詢
精確查詢主要是兩者：
- term：詞條精確匹配
- range：范圍查詢
與之前的查詢相比，差異同樣在查詢條件，其它都一樣。
查詢條件構造的API如下：
④：布爾查詢
布爾查詢是用must、must_not、filter等方式組合其它查詢，代碼示例如下：
可以看到，API與其它查詢的差別同樣是在查詢條件的構建，QueryBuilders，結果解析等其他代碼完全不變。
完整代碼如下：
@Autowiredprivate IHotelService iHotelService;private RestHighLevelClient client;@Testvoid testBooleanQuery() throws IOException {// 1. 準備RequestSearchRequest REQUEST = new SearchRequest("hotel");// 2. 準備DSLBoolQueryBuilder boolQuery = QueryBuilders.boolQuery();boolQuery.must(QueryBuilders.matchQuery("city","北京"));boolQuery.must(QueryBuilders.rangeQuery("price").lte(300));REQUEST.source().query(boolQuery);// 3.發送請求SearchResponse response = client.search(REQUEST, RequestOptions.DEFAULT);extracted(response);}private void extracted(SearchResponse response) {// 4. 解析responseSearchHits searchHits = response.getHits();// 4.2 獲取總數量long total = searchHits.getTotalHits().value;System.out.println("共有 "+total+ " 條數據");// 4.3 文檔數據SearchHit[] hitsHits = searchHits.getHits();// 4.4 遍歷for (SearchHit hitsHit : hitsHits) {// 4.5 反序列化String json = hitsHit.getSourceAsString();HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);System.out.println(hotelDoc);} }⑤：排序、分頁
搜索結果的排序和分頁是與query同級的參數，因此同樣是使用request.source()來設置。
對應的API如下：
完整代碼示例：
@Testvoid testPageSort() throws IOException {int page = 2,size = 5;// 1. 準備RequestSearchRequest request = new SearchRequest("hotel");// 2. 準備DSLrequest.source().query(QueryBuilders.matchAllQuery());request.source().from(page -1 ).size(size);request.source().sort("price", SortOrder.DESC);// 3.發送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);extracted(response);}private void extracted(SearchResponse response) {// 4. 解析responseSearchHits searchHits = response.getHits();// 4.2 獲取總數量long total = searchHits.getTotalHits().value;System.out.println("共有 "+total+ " 條數據");// 4.3 文檔數據SearchHit[] hitsHits = searchHits.getHits();// 4.4 遍歷for (SearchHit hitsHit : hitsHits) {// 4.5 反序列化String json = hitsHit.getSourceAsString();HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);System.out.println(hotelDoc);}}⑥：高亮
高亮的代碼與之前代碼差異較大，有兩點：
- 查詢的DSL：其中除了查詢條件，還需要添加高亮條件，同樣是與query同級。
- 結果解析：結果除了要解析_source文檔數據，還要解析高亮結果
1.高亮請求構建
高亮請求的構建API如下：
上述代碼省略了查詢條件部分，但是大家不要忘了：高亮查詢必須使用全文檢索查詢，并且要有搜索關鍵字，將來才可以對關鍵字高亮。
完整代碼如下：
@Autowiredprivate IHotelService iHotelService;private RestHighLevelClient client;@Testvoid testHighlight() throws IOException {// 1. 準備RequestSearchRequest request = new SearchRequest("hotel");// 2. 準備DSL// 2.1 查詢queryrequest.source().query(QueryBuilders.matchQuery("all","如家"));// 2.2 高亮request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));// 3.發送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);extracted(response);}private void extracted(SearchResponse response) {// 4. 解析responseSearchHits searchHits = response.getHits();// 4.2 獲取總數量long total = searchHits.getTotalHits().value;System.out.println("共有 "+total+ " 條數據");// 4.3 文檔數據SearchHit[] hitsHits = searchHits.getHits();// 4.4 遍歷for (SearchHit hitsHit : hitsHits) {// 4.5 反序列化String json = hitsHit.getSourceAsString();HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);System.out.println(hotelDoc);}}2.高亮結果解析
高亮的結果與查詢的文檔結果默認是分離的，并不在一起。
因此解析高亮的代碼需要額外處理：
代碼解讀：
- 第一步：從結果中獲取source。hit.getSourceAsString()，這部分是非高亮結果，json字符串。還需要反序列為HotelDoc對象
- 第二步：獲取高亮結果。hit.getHighlightFields()，返回值是一個Map，key是高亮字段名稱，值是HighlightField對象，代表高亮值
- 第三步：從map中根據高亮字段名稱，獲取高亮字段值對象HighlightField
- 第四步：從HighlightField中獲取Fragments，并且轉為字符串。這部分就是真正的高亮字符串了
- 第五步：用高亮的結果替換HotelDoc中的非高亮結果
完整代碼如下：
@Autowiredprivate IHotelService iHotelService;private RestHighLevelClient client;@Testvoid testHighlight() throws IOException {// 1. 準備RequestSearchRequest request = new SearchRequest("hotel");// 2. 準備DSL// 2.1 查詢queryrequest.source().query(QueryBuilders.matchQuery("all","如家"));// 2.2 高亮request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));// 3.發送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4. 解析responseSearchHits searchHits = response.getHits();// 4.2 獲取總數量long total = searchHits.getTotalHits().value;System.out.println("共有 "+total+ " 條數據");// 4.3 文檔數據SearchHit[] hitsHits = searchHits.getHits();// 4.4 遍歷for (SearchHit hitsHit : hitsHits) {// 4.5 反序列化String json = hitsHit.getSourceAsString();HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);// 4.6 獲取高亮結果Map<String, HighlightField> highlightFields = hitsHit.getHighlightFields();if (!CollectionUtils.isEmpty(highlightFields)){// 4.7 根據字段獲取高亮結果HighlightField highlightField = highlightFields.get("name");Text[] fragments = highlightField.getFragments();// 4.8 獲取高亮值String name = fragments[0].string();if (name !=null) {// 4.9 覆蓋非高亮結果hotelDoc.setName(name);}}System.out.println(hotelDoc);}}四、黑馬旅游案例
下面，我們通過黑馬旅游的案例來實戰演練下之前學習的知識。
我們實現四部分功能：
- 酒店搜索和分頁
- 酒店結果過濾
- 我周邊的酒店
- 酒店競價排名
啟動我們提供的hotel-demo項目，其默認端口是8089，訪問http://localhost:8089，就能看到項目頁面了：
①：酒店搜索和分頁
案例需求：實現黑馬旅游的酒店搜索功能，完成關鍵字搜索和分頁
1.需求分析
在項目的首頁，有一個大大的搜索框，還有分頁按鈕：
點擊搜索按鈕，可以看到瀏覽器控制臺發出了請求：
請求參數如下：
由此可以知道，我們這個請求的信息如下：
- 請求方式：POST
- 請求路徑：/hotel/list
- 請求參數：JSON對象，包含4個字段：
- key：搜索關鍵字
- page：頁碼
- size：每頁大小
- sortBy：排序，目前暫不實現
- 返回值：分頁查詢，需要返回分頁結果PageResult，包含兩個屬性：
- total：總條數
- List<HotelDoc>：當前頁的數據
因此，我們實現業務的流程如下：
- 步驟一：定義實體類，接收請求參數的JSON對象
- 步驟二：編寫controller，接收頁面的請求
- 步驟三：編寫業務實現，利用RestHighLevelClient實現搜索、分頁
2.定義實體類
實體類有兩個，一個是前端的請求參數實體，一個是服務端應該返回的響應結果實體。
1）請求參數
前端請求的json結構如下：
{"key": "搜索關鍵字","page": 1,"size": 3,"sortBy": "default" }因此，我們在cn.itcast.hotel.pojo包下定義一個實體類：
package cn.itcast.hotel.pojo;import lombok.Data;@Data public class RequestParams {private String key;private Integer page;private Integer size;private String sortBy; }2）返回值
分頁查詢，需要返回分頁結果PageResult，包含兩個屬性：
- total：總條數
- List<HotelDoc>：當前頁的數據
因此，我們在cn.itcast.hotel.pojo中定義返回結果：
package cn.itcast.hotel.pojo;import lombok.Data;import java.util.List;@Data public class PageResult {private Long total;private List<HotelDoc> hotels;public PageResult() {}public PageResult(Long total, List<HotelDoc> hotels) {this.total = total;this.hotels = hotels;} }3.定義controller
定義一個HotelController，聲明查詢接口，滿足下列要求：
- 請求方式：Post
- 請求路徑：/hotel/list
- 請求參數：對象，類型為RequestParam
- 返回值：PageResult，包含兩個屬性
- Long total：總條數
- List<HotelDoc> hotels：酒店數據
因此，我們在cn.itcast.hotel.web中定義HotelController：
4.實現搜索業務
我們在controller調用了IHotelService，并沒有實現該方法，因此下面我們就在IHotelService中定義方法，并且去實現業務邏輯。
1）在cn.itcast.hotel.service中的IHotelService接口中定義一個方法：
2）實現搜索業務，肯定離不開RestHighLevelClient，我們需要把它注冊到Spring中作為一個Bean。在cn.itcast.hotel中的HotelDemoApplication中聲明這個Bean：（啟動類中）
@Bean public RestHighLevelClient client(){return new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.100.200:9200"))); }3）在cn.itcast.hotel.service.impl中的HotelService中實現search方法：
@Override public PageResult search(RequestParams params) {try {// 1.準備RequestSearchRequest request = new SearchRequest("hotel");// 2.準備DSL// 2.1.queryString key = params.getKey();if (key == null || "".equals(key)) {boolQuery.must(QueryBuilders.matchAllQuery());} else {boolQuery.must(QueryBuilders.matchQuery("all", key));}// 2.2.分頁int page = params.getPage();int size = params.getSize();request.source().from((page - 1) * size).size(size);// 3.發送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4.解析響應return handleResponse(response);} catch (IOException e) {throw new RuntimeException(e);} }// 結果解析 private PageResult handleResponse(SearchResponse response) {// 4.解析響應SearchHits searchHits = response.getHits();// 4.1.獲取總條數long total = searchHits.getTotalHits().value;// 4.2.文檔數組SearchHit[] hits = searchHits.getHits();// 4.3.遍歷List<HotelDoc> hotels = new ArrayList<>();for (SearchHit hit : hits) {// 獲取文檔sourceString json = hit.getSourceAsString();// 反序列化HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);// 放入集合hotels.add(hotelDoc);}// 4.4.封裝返回return new PageResult(total, hotels); }②：酒店結果過濾
需求：添加品牌、城市、星級、價格等過濾功能
1.需求分析
在頁面搜索框下面，會有一些過濾項：
傳遞的參數如圖：
包含的過濾條件有：
- brand：品牌值
- city：城市
- minPrice~maxPrice：價格范圍
- starName：星級
我們需要做兩件事情：
- 修改請求參數的對象RequestParams，接收上述參數
- 修改業務邏輯，在搜索條件之外，添加一些過濾條件
2.修改實體類
修改在cn.itcast.hotel.pojo包下的實體類RequestParams：
@Data public class RequestParams {private String key;private Integer page;private Integer size;private String sortBy;// 下面是新增的過濾條件參數private String city;private String brand;private String starName;private Integer minPrice;private Integer maxPrice; }3.修改搜索業務
在HotelService的search方法中，只有一個地方需要修改：requet.source().query( … )其中的查詢條件。
在之前的業務中，只有match查詢，根據關鍵字搜索，現在要添加條件過濾，包括：
- 品牌過濾：是keyword類型，用term查詢
- 星級過濾：是keyword類型，用term查詢
- 價格過濾：是數值類型，用range查詢
- 城市過濾：是keyword類型，用term查詢
多個查詢條件組合，肯定是boolean查詢來組合：
- 關鍵字搜索放到must中，參與算分
- 其它過濾條件放到filter中，不參與算分
因為條件構建的邏輯比較復雜，這里先封裝為一個函數：
buildBasicQuery的代碼如下：
private void buildBasicQuery(RequestParams params, SearchRequest request) {// 1.構建BooleanQueryBoolQueryBuilder boolQuery = QueryBuilders.boolQuery();// 2.關鍵字搜索String key = params.getKey();if (key == null || "".equals(key)) {boolQuery.must(QueryBuilders.matchAllQuery());} else {boolQuery.must(QueryBuilders.matchQuery("all", key));}// 3.城市條件if (params.getCity() != null && !params.getCity().equals("")) {boolQuery.filter(QueryBuilders.termQuery("city", params.getCity()));}// 4.品牌條件if (params.getBrand() != null && !params.getBrand().equals("")) {boolQuery.filter(QueryBuilders.termQuery("brand", params.getBrand()));}// 5.星級條件if (params.getStarName() != null && !params.getStarName().equals("")) {boolQuery.filter(QueryBuilders.termQuery("starName", params.getStarName()));}// 6.價格if (params.getMinPrice() != null && params.getMaxPrice() != null) {boolQuery.filter(QueryBuilders.rangeQuery("price").gte(params.getMinPrice()).lte(params.getMaxPrice()));}// 7.放入sourcerequest.source().query(boolQuery); }③：我周邊的酒店
需求：我附近的酒店
1.需求分析
在酒店列表頁的右側，有一個小地圖，點擊地圖的定位按鈕，地圖會找到你所在的位置：
并且，在前端會發起查詢請求，將你的坐標發送到服務端：
我們要做的事情就是基于這個location坐標，然后按照距離對周圍酒店排序。實現思路如下：
- 修改RequestParams參數，接收location字段
- 修改search方法業務邏輯，如果location有值，添加根據geo_distance排序的功能
2.修改實體類
修改在cn.itcast.hotel.pojo包下的實體類RequestParams：
package cn.itcast.hotel.pojo;import lombok.Data;@Data public class RequestParams {private String key;private Integer page;private Integer size;private String sortBy;private String city;private String brand;private String starName;private Integer minPrice;private Integer maxPrice;// 我當前的地理坐標private String location; }3.距離排序API
我們以前學習過排序功能，包括兩種：
- 普通字段排序
- 地理坐標排序
我們只講了普通字段排序對應的java寫法。地理坐標排序只學過DSL語法，如下：
GET /indexName/_search {"query": {"match_all": {}},"sort": [{"price": "asc" },{"_geo_distance" : {"FIELD" : "緯度，經度","order" : "asc","unit" : "km"}}] }對應的java代碼示例：
4.添加距離排序
在cn.itcast.hotel.service.impl的HotelService的search方法中，添加一個排序功能：
完整代碼：
@Override public PageResult search(RequestParams params) {try {// 1.準備RequestSearchRequest request = new SearchRequest("hotel");// 2.準備DSL// 2.1.querybuildBasicQuery(params, request);// 2.2.分頁int page = params.getPage();int size = params.getSize();request.source().from((page - 1) * size).size(size);// 2.3.排序String location = params.getLocation();if (location != null && !location.equals("")) {request.source().sort(SortBuilders.geoDistanceSort("location", new GeoPoint(location)).order(SortOrder.ASC).unit(DistanceUnit.KILOMETERS));}// 3.發送請求SearchResponse response = client.search(request, RequestOptions.DEFAULT);// 4.解析響應return handleResponse(response);} catch (IOException e) {throw new RuntimeException(e);} }5.排序距離顯示
重啟服務后，測試我的酒店功能：
發現確實可以實現對我附近酒店的排序，不過并沒有看到酒店到底距離我多遠，這該怎么辦？
排序完成后，頁面還要獲取我附近每個酒店的具體距離值，這個值在響應結果中是獨立的：
因此，我們在結果解析階段，除了解析source部分以外，還要得到sort部分，也就是排序的距離，然后放到響應結果中。
我們要做兩件事：
- 修改HotelDoc，添加排序距離字段，用于頁面顯示
- 修改HotelService類中的handleResponse方法，添加對sort值的獲取
1）修改HotelDoc類，添加距離字段
package cn.itcast.hotel.pojo;import lombok.Data; import lombok.NoArgsConstructor;@Data @NoArgsConstructor public class HotelDoc {private Long id;private String name;private String address;private Integer price;private Integer score;private String brand;private String city;private String starName;private String business;private String location;private String pic;// 排序時的 距離值private Object distance;public HotelDoc(Hotel hotel) {this.id = hotel.getId();this.name = hotel.getName();this.address = hotel.getAddress();this.price = hotel.getPrice();this.score = hotel.getScore();this.brand = hotel.getBrand();this.city = hotel.getCity();this.starName = hotel.getStarName();this.business = hotel.getBusiness();this.location = hotel.getLatitude() + ", " + hotel.getLongitude();this.pic = hotel.getPic();} }2）修改HotelService中的handleResponse方法
重啟后測試，發現頁面能成功顯示距離了：
④：酒店競價排名
需求：讓指定的酒店在搜索結果中排名置頂
1.需求分析
要讓指定酒店在搜索結果中排名置頂，效果如圖：
頁面會給指定的酒店添加廣告標記。
那怎樣才能讓指定的酒店排名置頂呢？
我們之前學習過的function_score查詢可以影響算分，算分高了，自然排名也就高了。而function_score包含3個要素：
- 過濾條件：哪些文檔要加分
- 算分函數：如何計算function score
- 加權方式：function score 與 query score如何運算
這里的需求是：讓指定酒店排名靠前。因此我們需要給這些酒店添加一個標記，這樣在過濾條件中就可以根據這個標記來判斷，是否要提高算分。
比如，我們給酒店添加一個字段：isAD，Boolean類型：
- true：是廣告
- false：不是廣告
這樣function_score包含3個要素就很好確定了：
- 過濾條件：判斷isAD 是否為true
- 算分函數：我們可以用最簡單暴力的weight，固定加權值
- 加權方式：可以用默認的相乘，大大提高算分
因此，業務的實現步驟包括：
給HotelDoc類添加isAD字段，Boolean類型
挑選幾個你喜歡的酒店，給它的文檔數據添加isAD字段，值為true
修改search方法，添加function score功能，給isAD值為true的酒店增加權重
2.修改HotelDoc實體
給cn.itcast.hotel.pojo包下的HotelDoc類添加isAD字段：
3.添加廣告標記
接下來，我們挑幾個酒店，添加isAD字段，設置為true：
POST /hotel/_update/2056126831 {"doc": {"isAD": true} } POST /hotel/_update/1989806195 {"doc": {"isAD": true} } POST /hotel/_update/2056105938 {"doc": {"isAD": true} }4.添加算分函數查詢
接下來我們就要修改查詢條件了。之前是用的boolean 查詢，現在要改成function_socre查詢。
function_score查詢結構如下：
對應的JavaAPI如下：
我們可以將之前寫的boolean查詢作為原始查詢條件放到query中，接下來就是添加過濾條件、算分函數、加權模式了。所以原來的代碼依然可以沿用。
修改cn.itcast.hotel.service.impl包下的HotelService類中的buildBasicQuery方法，添加算分函數查詢：
private void buildBasicQuery(RequestParams params, SearchRequest request) {// 1.構建BooleanQueryBoolQueryBuilder boolQuery = QueryBuilders.boolQuery();// 關鍵字搜索String key = params.getKey();if (key == null || "".equals(key)) {boolQuery.must(QueryBuilders.matchAllQuery());} else {boolQuery.must(QueryBuilders.matchQuery("all", key));}// 城市條件if (params.getCity() != null && !params.getCity().equals("")) {boolQuery.filter(QueryBuilders.termQuery("city", params.getCity()));}// 品牌條件if (params.getBrand() != null && !params.getBrand().equals("")) {boolQuery.filter(QueryBuilders.termQuery("brand", params.getBrand()));}// 星級條件if (params.getStarName() != null && !params.getStarName().equals("")) {boolQuery.filter(QueryBuilders.termQuery("starName", params.getStarName()));}// 價格if (params.getMinPrice() != null && params.getMaxPrice() != null) {boolQuery.filter(QueryBuilders.rangeQuery("price").gte(params.getMinPrice()).lte(params.getMaxPrice()));}// 2.算分控制FunctionScoreQueryBuilder functionScoreQuery =QueryBuilders.functionScoreQuery(// 原始查詢，相關性算分的查詢boolQuery,// function score的數組new FunctionScoreQueryBuilder.FilterFunctionBuilder[]{// 其中的一個function score 元素new FunctionScoreQueryBuilder.FilterFunctionBuilder(// 過濾條件QueryBuilders.termQuery("isAD", true),// 算分函數ScoreFunctionBuilders.weightFactorFunction(10))});request.source().query(functionScoreQuery); }總結
以上是生活随笔為你收集整理的48-Elasticsearch-2(DSL查询_搜索结果处理_RestClient查询文档)的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： WidgetOne手机应用开发平台已正式
- 下一篇： 【运筹学】CH2 线性规划与单纯形法1—