Lucene第一讲——概述与入门
一、概述
1.什么是Lucene?
Lucene是apache下的一個開源的全文檢索引擎工具包。
它為軟件開發人員提供一個簡單易用的工具包(類庫),以方便的在目標系統中實現全文檢索的功能。
2.能干什么?
主要運用:全文檢索
3.全文檢索定義
全文檢索首先將要查詢的目標文檔中的詞提取出來,組成索引,通過查詢索引達到搜索目標文檔的目的。這種先建立索引,再對索引進行搜索的過程就叫全文檢索(Full-text Search)。
?二、實現流程
?
流程主要分為:索引流程 搜索流程
三、入門程序
1.準備數據(數據庫)
2.引入依賴(使用maven)
<!--版本管理--><properties><lucene.version>5.3.1</lucene.version><junit.version>4.12</junit.version></properties><dependencies><!-- lucene-core --><dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-core</artifactId><version>${lucene.version}</version></dependency><!-- lucene-query-parser --><dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-queryparser</artifactId><version>${lucene.version}</version></dependency><!-- lucene-analyzers-common --><dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-analyzers-common</artifactId><version>${lucene.version}</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>${junit.version}</version><scope>test</scope></dependency></dependencies> View Code//使用數據庫作為數據源請添加數據庫依賴
3.其它:如JDK(7及以上),mysql等不再贅述
4.索引流程
1.為什么采集數據
全文檢索搜索的內容的格式是多種多樣的,比如:視頻、mp3、圖片、文檔等等。對于這種格式不同的數據,需要先將他們采集到本地,然后統一封裝到lucene的文檔對象中,也就是說需要將存儲的內容進行統一才能對它進行查詢。
2.采集數據的方式
l?對于互聯網中的數據,使用爬蟲工具(http工具)將網頁爬取到本地
l?對于數據庫中的數據,使用jdbc程序進行數據采集
l?對于文件系統的數據,使用io流采集
常用數據采集爬蟲工具(了解):
Solr(http://lucene.apache.org/solr) ,solr是apache的一個子項目,支持從關系數據庫、xml文檔中提取原始數據。
Nutch(http://lucene.apache.org/nutch), Nutch是apache的一個子項目,包括大規模爬蟲工具,能夠抓取和分辨web網站數據。
jsoup(http://jsoup.org/?),jsoup 是一款Java 的HTML解析器,可直接解析某個URL地址、HTML文本內容。它提供了一套非常省力的API,可通過DOM,CSS以及類似于jQuery的操作方法來取出和操作數據。
heritrix(http://sourceforge.net/projects/archive-crawler/files/),Heritrix 是一個由 java 開發的、開源的網絡爬蟲,用戶可以使用它來從網上抓取想要的資源。其最出色之處在于它良好的可擴展性,方便用戶實現自己的抓取邏輯。
3.索引文件邏輯結構
?
? 與字典的 結構類似,一邊目錄一邊文檔,目錄是索引域,文檔是lucene封裝的統一文檔格式
文檔域
文檔域存儲的信息就是采集到的信息,通過Document對象來存儲,具體說是通過Document對象中field域來存儲數據。
比如:數據庫中一條記錄會存儲一個一個Document對象,數據庫中一列會存儲成Document中一個field域。
文檔域中,Document對象之間是沒有關系的。而且每個Document中的field域也不一定一樣。
?索引域
索引域主要是為了搜索使用的。索引域內容是經過lucene分詞之后存儲的。
倒排索引表
傳統方法是先找到文件,如何在文件中找內容,在文件內容中匹配搜索關鍵字,這種方法是順序掃描方法,數據量大就搜索慢。
倒排索引結構是根據內容(詞語)找文檔,倒排索引結構也叫反向索引結構,包括索引和文檔兩部分,索引即詞匯表,它是在索引中匹配搜索關鍵字,由于索引內容量有限并且采用固定優化算法搜索速度很快,找到了索引中的詞匯,詞匯與文檔關聯,從而最終找到了文檔。
5.索引
? 1.采集數據
對應上文數據庫的PO類:
package com.itheima.lucene.po;/*** ?* <p>* Title:?Book* </p>* ?* <p>* Description:?TODO(這里用一句話描述這個類的作用)?* <p>* <p>* Company: www.itcast.com* </p>* ?@author?傳智.關云長? ?@date?2015-12-27?上午10:03:11?? ?@version 1.0*/ public class Book {// 圖書IDprivate Integer id;// 圖書名稱private String name;// 圖書價格private Float price;// 圖書圖片private String pic;// 圖書描述private String description;public Integer getId() {return id;}public void setId(Integer id) {this.id = id;}public String getName() {return name;}public void setName(String name) {this.name = name;}public Float getPrice() {return price;}public void setPrice(Float price) {this.price = price;}public String getPic() {return pic;}public void setPic(String pic) {this.pic = pic;}public String getDescription() {return description;}public void setDescription(String description) {this.description = description;}} View Code使用傳統JDBC從數據庫采集數據進行封裝:
package com.itheima.lucene.dao;import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.util.ArrayList; import java.util.List;import com.itheima.lucene.po.Book;/*** ?* <p>* Title:?BookDaoImpl* </p>* ?* <p>* Description:?TODO(這里用一句話描述這個類的作用)?* <p>* <p>* Company: www.itcast.com* </p>* ?@author?傳智.關云長? ?@date?2015-12-27?上午10:04:30?? ?@version 1.0*/ public class BookDaoImpl implements BookDao {@Overridepublic List<Book> queryBooks() {// 數據庫鏈接Connection connection = null;// 預編譯statementPreparedStatement preparedStatement = null;// 結果集ResultSet resultSet = null;// 圖書列表List<Book> list = new ArrayList<Book>();try {// 加載數據庫驅動Class.forName("com.mysql.jdbc.Driver");// 連接數據庫connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/solr", "root", "root");// SQL語句String sql = "SELECT * FROM book";// 創建preparedStatementpreparedStatement = connection.prepareStatement(sql);// 獲取結果集resultSet = preparedStatement.executeQuery();// 結果集解析while (resultSet.next()) {Book book = new Book();book.setId(resultSet.getInt("id"));book.setName(resultSet.getString("name"));book.setPrice(resultSet.getFloat("price"));book.setPic(resultSet.getString("pic"));book.setDescription(resultSet.getString("description"));list.add(book);}} catch (Exception e) {e.printStackTrace();}return list;}} View Code2.創建索引
Document就是封裝數據的文檔對象
IndexWriter是索引過程的核心組件,通過IndexWriter可以創建新索引、更新索引、刪除索引操作。IndexWriter需要通過Directory對索引進行存儲操作。
Directory描述了索引的存儲位置,底層封裝了I/O操作,負責對索引進行存儲。它是一個抽象類,它的子類常用的包括FSDirectory(在文件系統存儲索引)、RAMDirectory(在內存存儲索引)。
? 創建索引過程:
?// 采集數據 // 將采集到的數據封裝到Document對象中 // 創建分詞器,標準分詞器 // 創建IndexWriter
// 指定索引庫的地址 // 通過IndexWriter對象將Document寫入到索引庫中 // 關閉writer
package com.itheima.lucene.first;import java.io.File; import java.util.ArrayList; import java.util.List;import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.Field.Store; import org.apache.lucene.document.FloatField; import org.apache.lucene.document.StoredField; import org.apache.lucene.document.StringField; import org.apache.lucene.document.TextField; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.index.Term; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import org.apache.lucene.util.Version; import org.junit.Test; import org.wltea.analyzer.lucene.IKAnalyzer;import com.itheima.lucene.dao.BookDao; import com.itheima.lucene.dao.BookDaoImpl; import com.itheima.lucene.po.Book;/*** ?* <p>* Title:?IndexManager* </p>* ?* <p>* Description:?TODO(這里用一句話描述這個類的作用)?* <p>* <p>* Company: www.itcast.com* </p>* ?@author?傳智.關云長? ?@date?2015-12-27?上午10:08:12?? ?@version 1.0*/ public class IndexManager {@Testpublic void createIndex() throws Exception {// 采集數據BookDao dao = new BookDaoImpl();List<Book> list = dao.queryBooks();// 將采集到的數據封裝到Document對象中List<Document> docList = new ArrayList<>();Document document;for (Book book : list) {document = new Document();// store:如果是yes,則說明存儲到文檔域中// 圖書ID// 不分詞、索引、存儲 StringFieldField id = new StringField("id", book.getId().toString(), Store.YES);// 圖書名稱// 分詞、索引、存儲 TextFieldField name = new TextField("name", book.getName(), Store.YES);// 圖書價格// 分詞、索引、存儲 但是是數字類型,所以使用FloatFieldField price = new FloatField("price", book.getPrice(), Store.YES);// 圖書圖片地址// 不分詞、不索引、存儲 StoredFieldField pic = new StoredField("pic", book.getPic());// 圖書描述// 分詞、索引、不存儲 TextFieldField description = new TextField("description",book.getDescription(), Store.NO);// 設置boost值if (book.getId() == 4)description.setBoost(100f);// 將field域設置到Document對象中 document.add(id);document.add(name);document.add(price);document.add(pic);document.add(description);docList.add(document);}// 創建分詞器,標準分詞器// Analyzer analyzer = new StandardAnalyzer();// 使用ikanalyzerAnalyzer analyzer = new IKAnalyzer();// 創建IndexWriterIndexWriterConfig cfg = new IndexWriterConfig(Version.LUCENE_4_10_3,analyzer);// 指定索引庫的地址File indexFile = new File("E:\\11-index\\hm19\\");Directory directory = FSDirectory.open(indexFile);IndexWriter writer = new IndexWriter(directory, cfg);// 通過IndexWriter對象將Document寫入到索引庫中for (Document doc : docList) {writer.addDocument(doc);}// 關閉writer writer.close();}@Testpublic void deleteIndex() throws Exception {// 創建分詞器,標準分詞器Analyzer analyzer = new StandardAnalyzer();// 創建IndexWriterIndexWriterConfig cfg = new IndexWriterConfig(Version.LUCENE_4_10_3,analyzer);Directory directory = FSDirectory.open(new File("E:\\11-index\\hm19\\"));// 創建IndexWriterIndexWriter writer = new IndexWriter(directory, cfg);// Terms// writer.deleteDocuments(new Term("id", "1"));// 刪除全部(慎用) writer.deleteAll();writer.close();}@Testpublic void updateIndex() throws Exception {// 創建分詞器,標準分詞器Analyzer analyzer = new StandardAnalyzer();// 創建IndexWriterIndexWriterConfig cfg = new IndexWriterConfig(Version.LUCENE_4_10_3,analyzer);Directory directory = FSDirectory.open(new File("E:\\11-index\\hm19\\"));// 創建IndexWriterIndexWriter writer = new IndexWriter(directory, cfg);// 第一個參數:指定查詢條件// 第二個參數:修改之后的對象// 修改時如果根據查詢條件,可以查詢出結果,則將以前的刪掉,然后覆蓋新的Document對象,如果沒有查詢出結果,則新增一個Document// 修改流程即:先查詢,再刪除,在添加Document doc = new Document();doc.add(new TextField("name", "lisi", Store.YES));writer.updateDocument(new Term("name", "zhangsan"), doc);writer.close();} } View Code模擬:
package com.itheima.lucene;import com.itheima.lucene.PO.Book; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.TextField; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.index.IndexableField; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory;import java.io.File; import java.io.IOException; import java.nio.file.Paths; import java.util.ArrayList; import java.util.List;/*** Lucene的入門程序* 作者: Administrator* 日期: 2017/9/6**/ public class LuceneFirst {public static void main(String[] args) throws IOException {// 模擬采集數據List<Book> bookList = new ArrayList<>();Book book1 = new Book(1, "java", 100f, "pic1", "java入門書籍");Book book2 = new Book(2, "C", 100.6f, "pic2", "C語言入門書籍");Book book3 = new Book(3, "python", 90.7f, "pic3", "python入門書籍");bookList.add(book1);bookList.add(book2);bookList.add(book3);// 封裝數據到Document對象中List<Document> docList = new ArrayList<>();Document doc;for (Book book : bookList) {doc = new Document();// 創建文檔中的Field域,Store可以確定是否存儲到文檔域中Field idField = new TextField("id", book.getId().toString(), Field.Store.YES);Field nameField = new TextField("name", book.getName(), Field.Store.YES);Field priceField = new TextField("price", book.getPrice().toString(), Field.Store.YES);Field picField = new TextField("pic", book.getPic(), Field.Store.YES);Field descriptionField = new TextField("description", book.getDescription(), Field.Store.YES);// 將域放入文檔中 doc.add(idField);doc.add(nameField);doc.add(priceField);doc.add(picField);doc.add(descriptionField);// 將文檔放入文檔列表 docList.add(doc);}// 創建分詞器Analyzer analyzer = new StandardAnalyzer();// 創建IndexWriterIndexWriterConfig conf = new IndexWriterConfig(analyzer);String path = "D:\\BdiduYunDownload\\lucene\\index";Directory dir = FSDirectory.open(Paths.get(path));IndexWriter indexWriter = new IndexWriter(dir, conf);// 通過索引寫對象將docList寫入索引庫for (Document document : docList) {indexWriter.addDocument(document);}// 流的關閉 indexWriter.close();} } View Code索引文件:
?
? 6.分詞過程
Lucene中分詞主要分為兩個步驟:分詞、過濾
分詞:將field域中的內容一個個的分詞。
過濾:將分好的詞進行過濾,比如去掉標點符號、大寫轉小寫、詞的型還原(復數轉單數、過去式轉成現在式)、停用詞過濾(沒有去重過濾)
停用詞:單獨應用沒有特殊意義的詞。比如的、啊、等,英文中的this is a the等等。
分詞示例講解:
?要分詞的內容 Lucene is a Java full-text search engine. 分詞 Lucene is a Java Full - text search engine .過濾去掉標點符號 Lucene is a Java Full text search engine去掉停用詞 Lucene Java Full text search engine大寫轉小寫 lucene java full text search engine View Code語匯單元生成過程:
同一個域中相同的語匯單元(Token)對應同一個Term(詞),它記錄了語匯單元的內容及所在域的域名等,還包括來該token出現的頻率及位置。
不同的域中拆分出來的相同的單詞對應不同的term。
?相同的域中拆分出來的相同的單詞對應相同的term。
例如:圖書信息里面,圖書名稱中的java和圖書描述中的java對應不同的term
? 使用luke工具可以查看索引信息
? 7.搜索流程
1.輸入查詢語句
同數據庫的sql一樣,lucene全文檢索也有固定的語法:
最基本的有比如:AND, OR, NOT 等
舉個例子,用戶想找一個description中包括java關鍵字和lucene關鍵字的文檔。
它對應的查詢語句:description:java?AND lucene
2.搜索流程:
3.代碼實現:
package com.itheima.lucene.first;import java.io.File; import java.io.IOException; import java.util.HashMap; import java.util.Map;import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.Term; import org.apache.lucene.queryparser.classic.MultiFieldQueryParser; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.BooleanClause.Occur; import org.apache.lucene.search.BooleanQuery; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.NumericRangeQuery; import org.apache.lucene.search.Query; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TermQuery; import org.apache.lucene.search.TopDocs; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import org.junit.Test;/*** ?* <p>* Title:?IndexSearch* </p>* ?* <p>* Description:?TODO(這里用一句話描述這個類的作用)?* <p>* <p>* Company: www.itcast.com* </p>* ?@author?傳智.關云長? ?@date?2015-12-27?上午11:05:35?? ?@version 1.0*/ public class IndexSearch {private void doSearch(Query query) {// 創建IndexSearcher// 指定索引庫的地址try {File indexFile = new File("E:\\11-index\\hm19\\");Directory directory = FSDirectory.open(indexFile);IndexReader reader = DirectoryReader.open(directory);IndexSearcher searcher = new IndexSearcher(reader);// 通過searcher來搜索索引庫// 第二個參數:指定需要顯示的頂部記錄的N條TopDocs topDocs = searcher.search(query, 10);// 根據查詢條件匹配出的記錄總數int count = topDocs.totalHits;System.out.println("匹配出的記錄總數:" + count);// 根據查詢條件匹配出的記錄ScoreDoc[] scoreDocs = topDocs.scoreDocs;for (ScoreDoc scoreDoc : scoreDocs) {// 獲取文檔的IDint docId = scoreDoc.doc;// 通過ID獲取文檔Document doc = searcher.doc(docId);System.out.println("商品ID:" + doc.get("id"));System.out.println("商品名稱:" + doc.get("name"));System.out.println("商品價格:" + doc.get("price"));System.out.println("商品圖片地址:" + doc.get("pic"));System.out.println("==========================");// System.out.println("商品描述:" + doc.get("description")); }// 關閉資源 reader.close();} catch (IOException e) {e.printStackTrace();}}@Testpublic void indexSearch() throws Exception {// 創建query對象// 使用QueryParser搜索時,需要指定分詞器,搜索時的分詞器要和索引時的分詞器一致// 第一個參數:默認搜索的域的名稱QueryParser parser = new QueryParser("description",new StandardAnalyzer());// 通過queryparser來創建query對象// 參數:輸入的lucene的查詢語句(關鍵字一定要大寫)Query query = parser.parse("description:java AND lucene");doSearch(query);}@Testpublic void termQuery() {// 創建TermQuery對象Query query = new TermQuery(new Term("description", "java"));doSearch(query);}@Testpublic void numericRangeQuery() {// 創建NumericRangeQuery對象// 參數:域的名稱、最小值、最大值、是否包含最小值、是否包含最大值Query query = NumericRangeQuery.newFloatRange("price", 55f, 60f, true,false);doSearch(query);}@Testpublic void booleanQuery() {// 創建BooleanQueryBooleanQuery query = new BooleanQuery();// 創建TermQuery對象Query q1 = new TermQuery(new Term("description", "lucene"));// 創建NumericRangeQuery對象// 參數:域的名稱、最小值、最大值、是否包含最小值、是否包含最大值Query q2 = NumericRangeQuery.newFloatRange("price", 55f, 60f, true,false);// 組合關系代表的意思如下:// 1、MUST和MUST表示“與”的關系,即“交集”。// 2、MUST和MUST_NOT前者包含后者不包含。// 3、MUST_NOT和MUST_NOT沒意義// 4、SHOULD與MUST表示MUST,SHOULD失去意義;// 5、SHOUlD與MUST_NOT相當于MUST與MUST_NOT。// 6、SHOULD與SHOULD表示“或”的概念。 query.add(q1, Occur.MUST_NOT);query.add(q2, Occur.MUST_NOT);doSearch(query);}@Testpublic void multiFieldQueryParser() throws Exception {// 創建7.3.2 MultiFieldQueryParser// 默認搜索的多個域的域名String[] fields = { "name", "description" };Analyzer analyzer = new StandardAnalyzer();Map<String, Float> boosts = new HashMap<String, Float>();boosts.put("name", 200f);MultiFieldQueryParser parser = new MultiFieldQueryParser(fields,analyzer, boosts);// Query query = parser.parse("name:lucene OR description:lucene");Query query = parser.parse("java");System.out.println(query);doSearch(query);} } View CodeQueryParser實現:
package com.itheima.lucene;import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.queryparser.classic.ParseException; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TopDocs; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory;import java.io.IOException; import java.nio.file.Paths;/*** Lucene的搜索功能* 作者: Administrator* 日期: 2017/9/6**/ public class LuceneSearch {public static void main(String[] args) throws ParseException, IOException {// 使用QueryParser 參數分別為默認搜索域與分詞器String f = "description";Analyzer a = new StandardAnalyzer();QueryParser parser = new QueryParser(f, a);// 通過parser創建Query對象String q = "description:java"; // 查詢語句(Luncene語法)Query query = parser.parse(q);// 創建IndexSearcherString path = "D:\\BdiduYunDownload\\lucene\\index";Directory dir = FSDirectory.open(Paths.get(path));IndexReader reader = DirectoryReader.open(dir);IndexSearcher searcher = new IndexSearcher(reader);// 通過searcher搜索,分別為查詢對象和需要顯示的條數TopDocs topDocs = searcher.search(query, 10);// 結果處理int totalHits = topDocs.totalHits; // 總記錄數System.out.println("總記錄數:"+totalHits);ScoreDoc[] scoreDocs = topDocs.scoreDocs; // 經過打分的文檔for (ScoreDoc scoreDoc : scoreDocs) {// 獲取doc的IDint docID = scoreDoc.doc;// 根據docID獲取文檔(類似數據庫的一條記錄)Document doc = searcher.doc(docID);System.out.println("ID為:"+doc.get("id"));System.out.println("name為:"+doc.get("name"));System.out.println("price為:"+doc.get("price"));System.out.println("pic為:"+doc.get("pic"));System.out.println("description為:"+doc.get("description"));}// 關閉reader reader.close();} } View Code結果:
? 關于Lucene的更多詳細介紹,請參見 xingoo 的隨筆:http://www.cnblogs.com/xing901022/p/3933675.html
轉載于:https://www.cnblogs.com/jiangbei/p/7482249.html
總結
以上是生活随笔為你收集整理的Lucene第一讲——概述与入门的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: HTML 列表中的dl,dt,dd,ul
- 下一篇: LeetCode 406. Queue