Elasticsearch——分词器对String的作用
更多內容參考:Elasticsearch學習總結
關于String類型——分詞與不分詞
在Elasticsearch中String是最基本的數據類型,如果不是數字或者標準格式的日期等這種很明顯的類型,其他的一般都會優先默認存儲成String。同樣的數據類型,Elasticsearch也提供了多種存儲與分詞的模式,不同的模式應用于不同的場景。
很多人在初次使用Elasticsearch時,都會很納悶...
- 為什么我存儲的一句話,卻查詢不到?
- 為什么我輸入了漢語單詞,只能一個字一個字的匹配?
- 為什么我的url查詢不到?
等等,這些都與是否分詞、使用什么分詞器有關。
首先說說什么是分詞器吧! 比如我愛你中國!
如果是標準分詞器,會把它拆分成,“我”,“愛”,“你”,“中”,“國”。
如果使用一些漢語的分詞器,則會分析成,“我”,“愛”,“你”,“中國”。
由于倒排索引都是以詞Term為索引的,因此如果分解成了一個一個的詞,查詢“中國”的時候,中國也會被分解成“中”,“國”,這樣就可能誤差到”發展中國家“這樣的詞。
再說說Elasticsearch中的分詞器吧!
不光是在索引文檔(把數據導入到Elasticsearch中),在查詢的時候也需要分詞器。只有索引和查詢的時候使用相同的分詞器,才能查詢出正確的結果。
但是有時候,我們并不想把一串String給分析,想把它當做一個完整的詞。比如
- www.baidu.com
- 吉林省 長春市 衛星路 6543號
此時,只要設置字段為不分析,就可以了。這時需要自定義下映射,因為默認String就是分析的,而且使用的是標準分詞器。
準備工作
先建立一個索引
curl -XPUT localhost:9200/abc然后定義映射,注意:只有剛剛新建、還沒有任何數據的索引,才能定義映射。定義映射Mapping可以使用_mapping RESTAPI,符合下面的標準語法:
curl -XPUT localhost:9200/索引名稱/類型名稱/_mapping?pretty -d '{"類型名稱":{"properties":{"字段名稱":{"type":"字段類型","store":"是否存儲","index":"索引方式、是否分析"}}}}'比如,其中str1為String類型不分析;其他的字段str2為默認配置,就不用設置了。
curl -XPUT localhost:9200/abc/abc/_mapping?pretty -d '{"abc":{"properties":{"str1":{"type":"string","index":"not_analyzed"}}}}'然后添加兩條數據:
curl localhost:9200/abc/abc?pretty -d '{"str1":"hello, world!","str2":"goodbye! world"}' {"_index" : "abc","_type" : "abc","_id" : "AVM2vRQgJmh5lL1r79nv","_version" : 1,"created" : true }curl localhost:9200/abc/abc?pretty -d '{"str1":"hello","str2":"world"}' {"_index" : "abc","_type" : "abc","_id" : "AVM2vbbqJmh5lL1r79nw","_version" : 1,"created" : true }分析的String如何查詢
如果查詢的單個詞,分詞的字段可以使用term進行查詢,如下所示:如果查詢的是一個單獨的詞,那么會返回包含它或者等于它的目標文檔。
curl -XPOST localhost:9200/abc/_search?pretty -d '{"query":{"term":{"str2":"world"}}}' {"took" : 1,"timed_out" : false,"_shards" : {"total" : 5,"successful" : 5,"failed" : 0},"hits" : {"total" : 2,"max_score" : 0.5945348,"hits" : [ {"_index" : "abc","_type" : "abc","_id" : "AVM2vbbqJmh5lL1r79nw","_score" : 0.5945348,"_source":{"str1":"hello","str2":"world"}}, {"_index" : "abc","_type" : "abc","_id" : "AVM2vRQgJmh5lL1r79nv","_score" : 0.37158427,"_source":{"str1":"hello, world!","str2":"goodbye! world"}} ]} }不分析的String如何查詢
如果字段是不分詞的,而查詢的是這個字段里面的一個詞,那么使用term時無法查詢到目標文檔的。
$ curl -XPOST localhost:9200/abc/_search?pretty -d '{"query":{"term":{"str1":"hello"}}}' {"took" : 1,"timed_out" : false,"_shards" : {"total" : 5,"successful" : 5,"failed" : 0},"hits" : {"total" : 1,"max_score" : 1.0,"hits" : [ {"_index" : "abc","_type" : "abc","_id" : "AVM2vbbqJmh5lL1r79nw","_score" : 1.0,"_source":{"str1":"hello","str2":"world"}} ]} }使用term查詢,如果該字段是不分詞,只有完整的輸入目標字段,才能正確的匹配。
curl -XPOST localhost:9200/abc/_search?pretty -d '{"query":{"term":{"str1":"hello, world!"}}}' {"took" : 2,"timed_out" : false,"_shards" : {"total" : 5,"successful" : 5,"failed" : 0},"hits" : {"total" : 1,"max_score" : 1.0,"hits" : [ {"_index" : "abc","_type" : "abc","_id" : "AVM2vRQgJmh5lL1r79nv","_score" : 1.0,"_source":{"str1":"hello, world!","str2":"goodbye! world"}} ]} }總結
對于分詞的字段:
1 如果查詢的是單個詞,則查詢到包含它的文檔,返回結果與匹配程度有關
2 如果查詢的是一段能被分析的話,比如hello world。那么查詢的結果是包含分析得出的詞的文檔,即包含hello和world的全部文檔。
對于不分詞的字段:
只有查詢的是 目標字段的精確值,才能匹配。
總結
以上是生活随笔為你收集整理的Elasticsearch——分词器对String的作用的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Socket 多线程FTP软件开发
- 下一篇: ps分辨率一般是多少