IK分詞提供的兩個分詞器，并不支持一些新的詞匯，有時候也不能滿足實(shí)際業(yè)務(wù)需要，這時候，我們可以定義自定義詞庫來完成目標(biāo)。

文章目錄

• • • • • 一、靜態(tài)web搭建
        • • 1. 安裝nginx
          • 2. 創(chuàng)建es目錄
          • 3. 創(chuàng)建分詞文件
          • 4. 存放靜態(tài)
          • 5. 驗(yàn)證
        • 二、配置遠(yuǎn)程分詞
        • • 2.1. 切換用戶
          • 2.2. 配置分詞
          • 2.3. 遠(yuǎn)程分詞
          • 2.4. 重啟es
          • 2.5. 驗(yàn)證分詞
        • 三、熱更新詞庫
        • • 3.1. 自定義分詞
          • 3.2. 分詞結(jié)果
          • 3.3. 添加分詞庫
          • 3.4. 日志監(jiān)控
          • 3.5. 分詞驗(yàn)證

一、靜態(tài)web搭建

1. 安裝nginx

nginx 1.9.9 Linux 環(huán)境安裝

2. 創(chuàng)建es目錄

在nginx新建一個文件夾es，將ik所需要使用的資源放在里面，用于存放新建的詞庫

cd /usr/local/nginx mkdir es

3. 創(chuàng)建分詞文件

在es目錄下，新建一個文件new_word_fenci.dic，將需要分詞的內(nèi)容放在該文件中

cd es vim new_word_fenci.dic

添加內(nèi)容：

凱悅

4. 存放靜態(tài)

將es移動到html目錄下，因?yàn)閚ginx默認(rèn)訪問的是html目錄

mv es ./html/

5. 驗(yàn)證

http://192.168.92.128/es/new_word_fenci.dic

如圖：

二、配置遠(yuǎn)程分詞

2.1. 切換用戶

su - es

2.2. 配置分詞

編輯IKAnalyzer

cd /app/elasticsearch-7.15.2/config/analysis-ik vim IKAnalyzer.cfg.xml

2.3. 遠(yuǎn)程分詞

原配置

調(diào)整后配置

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties><comment>IK Analyzer 擴(kuò)展配置</comment><!--用戶可以在這里配置自己的擴(kuò)展字典 --><entry key="ext_dict"></entry><!--用戶可以在這里配置自己的擴(kuò)展停止詞字典--><entry key="ext_stopwords"></entry><!--用戶可以在這里配置遠(yuǎn)程擴(kuò)展字典 --><entry key="remote_ext_dict">http://192.168.92.128:80/es/new_word_fenci.dic</entry><!--用戶可以在這里配置遠(yuǎn)程擴(kuò)展停止詞字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> --> </properties>

2.4. 重啟es

說明：kibana需要一直處于啟動

2.5. 驗(yàn)證分詞

# 查閱凱悅分詞 GET /shop/_analyze {"analyzer": "ik_smart","text": "凱悅" }GET /shop/_analyze {"analyzer": "ik_max_word","text": "凱悅" }

三、熱更新詞庫

3.1. 自定義分詞

# 查閱凱悅分詞 GET /shop/_analyze {"analyzer": "ik_smart","text": "我是專家" }GET /shop/_analyze {"analyzer": "ik_max_word","text": "我是專家" }

3.2. 分詞結(jié)果

{"tokens" : [{"token" : "我","start_offset" : 0,"end_offset" : 1,"type" : "CN_CHAR","position" : 0},{"token" : "是","start_offset" : 1,"end_offset" : 2,"type" : "CN_CHAR","position" : 1},{"token" : "專家","start_offset" : 2,"end_offset" : 4,"type" : "CN_WORD","position" : 2}] }

3.3. 添加分詞庫

把我是專家添加分詞庫

cd /usr/local/nginx/html/es/ vim new_word_fenci.dic

添加我是專家到分詞庫：

我是專家

一個分詞為一行

3.4. 日志監(jiān)控

[2021-11-21T16:26:35,785][INFO ][o.w.a.d.Dictionary ] [es] start to reload ik dict. [2021-11-21T16:26:35,787][INFO ][o.w.a.d.Dictionary ] [es] try load config from /app/elasticsearch-7.15.2/config/analysis-ik/IKAnalyzer.cfg.xml [2021-11-21T16:26:35,938][INFO ][o.w.a.d.Dictionary ] [es] [Dict Loading] http://192.168.92.128:80/es/new_word_fenci.dic [2021-11-21T16:26:35,946][INFO ][o.w.a.d.Dictionary ] [es] 凱悅 [2021-11-21T16:26:35,947][INFO ][o.w.a.d.Dictionary ] [es] 我是專家 [2021-11-21T16:26:35,947][INFO ][o.w.a.d.Dictionary ] [es] reload ik dict finished.

3.5. 分詞驗(yàn)證

# 查閱凱悅分詞 GET /shop/_analyze {"analyzer": "ik_smart","text": "我是專家" }GET /shop/_analyze {"analyzer": "ik_max_word","text": "我是專家" }

總結(jié)

以上是生活随笔為你收集整理的Elasticsearch7.15.2 ik中文分词器 定制化分词器之扩展词库（远程）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。