Elasticsearch提供強(qiáng)大的搜索功能，并支持?jǐn)?shù)據(jù)的分片和復(fù)制。 因此，我們希望將數(shù)據(jù)庫中可用的數(shù)據(jù)索引到Elasticsearch中。

有多種方法可以將數(shù)據(jù)索引到Elasticsearch中：

使用Logstash將源設(shè)置為DB，將接收器設(shè)置為Elasticsearch，并在需要時使用過濾器來構(gòu)建JSON對象。

使用外部庫elasticsearch-jdbc ，該庫在自己的進(jìn)程中在Elasticsearch實例外部運(yùn)行。 它利用傳輸客戶端及其批量API將數(shù)據(jù)索引到Elasticsearch中。

在本文中，我們將研究方法2，即使用作為獨(dú)立進(jìn)程運(yùn)行的外部庫。

我們將使用MySQL作為數(shù)據(jù)庫，并使用MySQL隨附的示例數(shù)據(jù)庫世界，其中包含以下表格：

• 國家
• 市
• 國家語言

Elasticsearch-jdbc庫通過其GitHub 頁面上提供的兼容性矩陣最多支持Elasticsearch 2.3.4。 首先，讓我們?yōu)閿?shù)據(jù)建立索引，而無需預(yù)先定義Elasticsearch（ES）中的索引結(jié)構(gòu)。 如果我們不提供索引結(jié)構(gòu)，則ES會根據(jù)索引數(shù)據(jù)推斷并構(gòu)建一個。 但這永遠(yuǎn)不是理想的結(jié)構(gòu)。

創(chuàng)建一個空索引

確保ES正在運(yùn)行。 如果您在Windows上，請導(dǎo)航到ES的bin目錄并運(yùn)行elasticsearch.bat。 如果您使用的是Linux，請按照此處的說明進(jìn)行操作。

要創(chuàng)建一個空索引，您必須向<es_url>：<port> / <index_name>發(fā)出HTTP POST。 例如，使用cURL：

curl -X POST localhost:9200/world

您甚至可以使用自己選擇的REST客戶端（例如Postman）來調(diào)用ES REST API

設(shè)置JDBC導(dǎo)入器

從此處下載elasticsearch-jdbc二進(jìn)制文件并將其解壓縮到一個文件夾中，我們將其稱為ES_IMPORTER。 ES_IMPORTER / bin中已經(jīng)存在用于與MySQL和其他數(shù)據(jù)庫一起使用的腳本，我們會將所有與導(dǎo)入相關(guān)的腳本放在同一文件夾中。

注意 ：如果使用的是Oracle DB，則需要將JDBC驅(qū)動程序放在ES_IMPORTER / lib文件夾中。 對于MySQL等其他DB，PostgreSql JDBC驅(qū)動程序已經(jīng)可用。

另一個注意事項 ：elasticsearch-jdbc需要JDK 8

我們將創(chuàng)建以下文件（鏈接中可用的代碼）來運(yùn)行導(dǎo)入程序：

• world-importer.bat / world-importer.sh –用于啟動導(dǎo)入程序
• world-importer-config.json –用于配置導(dǎo)入器
• world.sql –包含要執(zhí)行以獲取索引數(shù)據(jù)的SQL查詢。

JDBC連接字符串，數(shù)據(jù)庫用戶名和密碼可以在world-importer-config.json中進(jìn)行更新。 此外，可以在同一文件中更新ES端口，ES主機(jī)名，ES索引名稱，ES索引類型名稱。

運(yùn)行JDBC導(dǎo)入器

在運(yùn)行導(dǎo)入程序之前，打開URL： http：// localhost：9200 / world

上面顯示索引世界沒有定義的結(jié)構(gòu)

打開URL： http：// localhost：9200 / world / _search

上面顯示索引世界中沒有數(shù)據(jù)。

導(dǎo)航至目錄：ES_IMPORTER / bin并運(yùn)行world-importer.bat或world-importer.sh 。

導(dǎo)入程序完成后（應(yīng)該立即完成），打開URL： http：// localhost：9200 / world / 。 現(xiàn)在，您將看到索引具有在映射鍵中定義的結(jié)構(gòu)，也稱為映射。 并且當(dāng)您打開URL： http：// localhost：9200 / world / _search時，您將找到索引數(shù)據(jù)，該數(shù)據(jù)大約是hits字段報告的239個條目。

JDBC導(dǎo)入器的優(yōu)點

• 易于導(dǎo)入數(shù)據(jù)，提供了許多配置選項。 并且可以安排重復(fù)運(yùn)行。
• 支持創(chuàng)建嵌套對象和嵌套對象數(shù)組（在我們的示例中，大寫字母是嵌套對象，而城市和語言是嵌套對象數(shù)組）
• 可以對SQL查詢進(jìn)行參數(shù)化
• 只有上次運(yùn)行后更改的數(shù)據(jù)才能重新索引。

JDBC導(dǎo)入器的缺點

• 不支持ES版本5及更高版本
• 嵌套對象數(shù)組中可能存在重復(fù)的對象。 但是重復(fù)數(shù)據(jù)刪除可以在應(yīng)用程序?qū)舆M(jìn)行處理。
• 對最新ES版本的支持可能會延遲。

在本文的下一部分中，我們將：

• 創(chuàng)建索引的映射
• 了解用于索引的SQL

翻譯自: https://www.javacodegeeks.com/2017/03/index-data-relational-database-elasticsearch-1.html

總結(jié)

以上是生活随笔為你收集整理的从关系数据库到Elasticsearch的索引数据– 1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。