nutch開發(二)

文章目錄

• • nutch開發(二)
  • • • 開發環境
    • 1.爬取后生成的目錄結構
    • • crawldb
      • linkdb
      • segments
    • 2.閱讀TestCrawlDbMerger
    • • createCrawlDb
      • 讀取crawldb
    • 3.關于索引的建立
    • 4.創建一個一步式的爬蟲啟動類
    • • 創建啟動類
      • 關于如何配置solr服務器的位置
    • 5.Crawler部分代碼講解
    • • 核心類
      • 核心函數

開發環境

• Linux，Ubuntu20.04LST
• IDEA
• Nutch1.18
• Solr8.11

轉載請聲明出處！！！By 鴨梨的藥丸哥

1.爬取后生成的目錄結構

crawldb

crawldb目錄下面存放下載的URL,以及下載的日期、過期時間

linkdb

linkdb目錄存放URL的關聯關系，是下載完成后分析時創建的

segments

segments目錄存儲抓取的頁面，這些頁面是根據層級關系分片的。

“crawl_generate” 生成要獲取的一組URL的名字，既生成待下載的URL的集合

“crawl_fetch” 包含獲取每個URL的狀態

”content“ 包含從每個URL檢索的原始內容

“parse_text” 包含每個URL的解析文本（存放每個解析過的URL的文本內容）

“parse_data” 包含從每個URL分析的外部鏈接和元數據

“crawl_parse” 包含用于更新crawldb的outlink URL（外部鏈接庫）

這里給一張網絡圖片，這圖片清晰滴描述了幾個目錄和爬取的關系

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-1zgfSJou-1644982714814)(F:\筆記文檔\筆記圖片\3.jpg)]

2.閱讀TestCrawlDbMerger

閱讀test包下面的org.apache.nutch.crawl.TestCrawlDbMerger，是為了更好理解CrawlDb是什么東東。

createCrawlDb

從createCrawlDb可以看出CrawlDb里面的part-r-00000文件夾里面的文件是Hadoop的SequenceFile格式數據，其中data和index組合成MapFile，MapFile是基于SequenceFile實現的。

• SequenceFile 是 Hadoop 的一個重要數據文件類型，它提供key-value的存儲，但與傳統key-value存儲（比如hash表，btree）不同的是，它是 appendonly的，于是你不能對已存在的key進行寫操作。每一個key-value記錄如下圖，不僅保存了key，value值，也保存了他們的長度。
• MapFile – 一個key-value 對應的查找數據結構，由數據文件/data 和索引文件 /index 組成，數據文件中包含所有需要存儲的key-value對，按key的順序排列。索引文件包含一部分key值，用以指向數據文件的關鍵位置。

private void createCrawlDb(Configuration config, FileSystem fs, Path crawldb,TreeSet<String> init, CrawlDatum cd) throws Exception {LOG.debug("* creating crawldb: " + crawldb);Path dir = new Path(crawldb, CrawlDb.CURRENT_NAME);//可以看出文件夾里面的文件是SequenceFile格式//其中整個文件夾是MapFile格式，index是索引文件，data是數據文件Option wKeyOpt = MapFile.Writer.keyClass(Text.class);org.apache.hadoop.io.SequenceFile.Writer.Option wValueOpt = SequenceFile.Writer.valueClass(CrawlDatum.class);//生成MapFileMapFile.Writer writer = new MapFile.Writer(config, new Path(dir,"part-r-00000"), wKeyOpt, wValueOpt);Iterator<String> it = init.iterator();while (it.hasNext()) {String key = it.next();//這里看出索引是以url進行索引的writer.append(new Text(key), cd);}writer.close();}

讀取crawldb

參試讀取crawlDb，前面說過crawldb里面的文件是SequenceFile文件格式的，所以我們用SequenceFile.Reader讀取data文件，前面說過這個文件夾是MapFile數據格式，由數據文件/data 和索引文件 /index 組成。

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.SequenceFile; import org.apache.hadoop.io.Text; import org.junit.Test; import java.io.IOException;/*** @author liangwy*/ public class TestCrawlDbReader {@Testpublic void readDbTest() throws IOException {Configuration conf=NutchConfiguration.create();Path dataPath=new Path("/home/liangwy/IdeaProjects/apache-nutch-1.18/myNutch/crawldb/current/part-r-00000/data");FileSystem fs=dataPath.getFileSystem(conf);SequenceFile.Reader reader=new SequenceFile.Reader(fs,dataPath,conf);Text key=new Text();CrawlDatum value=new CrawlDatum();while(reader.next(key,value)){System.out.println("key:"+key);System.out.println("value:"+value);}reader.close();} }

結果

key:http://nutch.apache.org/ value:Version: 7 Status: 5 (db_redir_perm) Fetch time: Sun Feb 13 20:29:40 CST 2022 Modified time: Fri Jan 14 20:29:40 CST 2022 Retries since fetch: 0 Retry interval: 2592000 seconds (30 days) Score: 1.0 Signature: null Metadata: _pst_=moved(12), lastModified=0: https://nutch.apache.org/_rs_=339Content-Type=application/octet-streamnutch.protocol.code=301

3.關于索引的建立

Nutch把全文檢索功能獨立出去后，已經搖身一變成網絡爬蟲了，主要是爬取功能，關于index的功能已經交個其他全文檢索服務器實現了，如solr等。

其中，Nutch1.18使用IndexingJob這個啟動類去實現索引功能，而IndexingJob背后正在實現去服務器建立索引的實現是各種插件，如indexer-solr插件，所以Nutch才能支持多種全文檢索服務器。

索引的建立可以通過以下代碼實現，至于具體的全部代碼我后面會給出，并將代碼發到github上面。

// index FileStatus[] fstats = fs.listStatus(segments, HadoopFSUtil.getPassDirectoriesFilter(fs)); IndexingJob indexer = new IndexingJob(getConf()); indexer.index(crawlDb, linkDb, Arrays.asList(HadoopFSUtil.getPaths(fstats)),false);

4.創建一個一步式的爬蟲啟動類

創建啟動類

下面的Crawler可以實現一整個爬取流程，并在solr服務器上面建立索引。

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.mapred.JobConf; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; import org.apache.nutch.fetcher.Fetcher; import org.apache.nutch.indexer.CleaningJob; import org.apache.nutch.indexer.IndexingJob; import org.apache.nutch.parse.ParseSegment; import org.apache.nutch.util.HadoopFSUtil; import org.apache.nutch.util.NutchConfiguration; import org.apache.nutch.util.NutchTool; import org.slf4j.Logger; import org.slf4j.LoggerFactory;import javax.xml.crypto.Data; import java.lang.invoke.MethodHandles; import java.text.SimpleDateFormat; import java.util.Arrays; import java.util.Date; import java.util.Map;/*** @author liangwy*/ public class Crawler extends NutchTool implements Tool {private static final Logger LOG = LoggerFactory.getLogger(MethodHandles.lookup().lookupClass());private Configuration conf;@Overridepublic Configuration getConf() {if (conf == null){conf = NutchConfiguration.create();}return conf;}public String getDate(){return new SimpleDateFormat("yyyyMMddHHmmss").format(new Date(System.currentTimeMillis()));}/*** ToolRunner.run()最終會運行這個函數* 還有,下面的寫法在Nutch1.18能運行,其他版本不一定能運行,* 比如在dedup 命令從 Nutch 1.8 開始替換 SOLR dedup 命令，用法上也有所不同。* 應該在建立 Solr 索引之前執行，以保證 URL在 crawldb 數據庫和 Solr 索引中的唯一性。* @param strings* @return* @throws Exception*/@Overridepublic int run(String[] strings) throws Exception {/*種子所在文件夾*/Path rootUrlDir = new Path("/home/liangwy/IdeaProjects/apache-nutch-1.18/urls");/*存儲爬取信息的文件夾*/Path dir = new Path("/home/liangwy/IdeaProjects/apache-nutch-1.18","crawl-" + getDate());/*爬取線程個數*/int threads = 50;/*廣度遍歷時爬取的深度，即廣度遍歷樹的層數*/int depth = 2;/*每次只爬開頭的前10條*/long topN = 10;JobConf job = new JobConf(getConf());FileSystem fs = FileSystem.get(job);if (LOG.isInfoEnabled()) {LOG.info("crawl started in: " + dir);LOG.info("rootUrlDir = " + rootUrlDir);LOG.info("threads = " + threads);LOG.info("depth = " + depth);if (topN != Long.MAX_VALUE)LOG.info("topN = " + topN);}/*目錄*/Path crawlDb = new Path(dir + "/crawldb");Path linkDb = new Path(dir + "/linkdb");Path segments = new Path(dir + "/segments");/*各種功能啟動類*/Injector injector = new Injector(getConf());Generator generator = new Generator(getConf());Fetcher fetcher = new Fetcher(getConf());ParseSegment parseSegment = new ParseSegment(getConf());CrawlDb crawlDbTool = new CrawlDb(getConf());LinkDb linkDbTool = new LinkDb(getConf());// initialize crawlDbinjector.inject(crawlDb, rootUrlDir);//爬取次數int i;for (i = 0; i < depth; i++) {// generate new segmentPath[] segs = generator.generate(crawlDb, segments, -1, topN, System.currentTimeMillis());if (segs == null) {LOG.info("Stopping at depth=" + i + " - no more URLs to fetch.");break;}fetcher.fetch(segs[0], threads); // fetch itif (!Fetcher.isParsing(job)) {parseSegment.parse(segs[0]); // parse it, if needed}crawlDbTool.update(crawlDb, segs, true, true); // update crawldb}/*Nutch1.18里面沒有SolrDeleteDuplicates,后來查資料發現,dedup 命令從 Nutch 1.8 開始替換 SOLR dedup 命令，去重操作改成了在建立索引前進行去重了*///去重DeduplicationJob dedup = new DeduplicationJob();dedup.setConf(getConf());//腳本參數String[] dedupArgs = new String[]{crawlDb.toString()};//貌似沒有封裝過的去重方法,這里就調用run函數了dedup.run(dedupArgs);// invert linksif (i > 0) {linkDbTool.invert(linkDb, segments, true, true, false); // invert links// indexFileStatus[] fstats = fs.listStatus(segments, HadoopFSUtil.getPassDirectoriesFilter(fs));IndexingJob indexer = new IndexingJob(getConf());indexer.index(crawlDb, linkDb,Arrays.asList(HadoopFSUtil.getPaths(fstats)),false);//cleanCleaningJob cleaningJob = new CleaningJob();cleaningJob.setConf(getConf());cleaningJob.delete(crawlDb.toString(),false);} else {LOG.warn("No URLs to fetch - check your seed list and URL filters.");}if (LOG.isInfoEnabled()) { LOG.info("crawl finished: " + dir); }return 0;}/*** Used by the Nutch REST service* @param args* @param crawlId* @return* @throws Exception*/@Overridepublic Map<String, Object> run(Map<String, Object> args, String crawlId) throws Exception {return null;}public static void main(String[] args) throws Exception {int res = ToolRunner.run(NutchConfiguration.create(), new Crawler(), args);System.exit(res);}}

關于如何配置solr服務器的位置

在conf/目錄下面，有一個index-writers.xml的配置文件，找到indexer_solr_1，里面有配置slor服務器的位置和一些索引建立時的配置信息。

<writer id="indexer_solr_1" class="org.apache.nutch.indexwriter.solr.SolrIndexWriter"><parameters><param name="type" value="http"/><param name="url" value="http://localhost:8983/solr/nutch"/><param name="collection" value=""/><param name="weight.field" value=""/><param name="commitSize" value="1000"/><param name="auth" value="false"/><param name="username" value="username"/><param name="password" value="password"/></parameters><mapping><copy><!-- <field source="content" dest="search"/> --><!-- <field source="title" dest="title,search"/> --></copy><rename><field source="metatag.description" dest="description"/><field source="metatag.keywords" dest="keywords"/></rename><remove><field source="segment"/></remove></mapping></writer>

5.Crawler部分代碼講解

核心類

Injector injector = new Injector(getConf()); //inject功能 Generator generator = new Generator(getConf()); //generate功能 Fetcher fetcher = new Fetcher(getConf()); //網頁fetch ParseSegment parseSegment = new ParseSegment(getConf()); //parse CrawlDb crawlDbTool = new CrawlDb(getConf()); //update LinkDb linkDbTool = new LinkDb(getConf()); //Invert linksDeduplicationJob dedup = new DeduplicationJob(); // DeleteDuplicates IndexingJob indexer = new IndexingJob(getConf()); // Index IndexMerger CleaningJob cleaningJob = new CleaningJob(); // 去除401,302的index

核心函數

//注入urls injector.inject(crawlDb, rootUrlDir); //創建新的segments，在新的segments里面創建抓取列表crawl_generate generator.generate(crawlDb, segments, -1, topN, System.currentTimeMillis()); //給最新的segments進行網頁的抓取，生成"crawl_fetch"，"content" fetcher.fetch(segs[0], threads);//解析最新的segments的爬取內容，生成“parse_text” “parse_data” “crawl_parse” parseSegment.parse(segs[0]);//跟新crawldb crawlDbTool.update(crawlDb, segs, true, true);//去重，NUTCH1.8之后去重工作放在了index之前 dedup.run(dedupArgs);//鏈接反轉，建立索引前的一步 linkDbTool.invert(linkDb, segments, true, true, false);//添加索引，去哪個索引服務器添加跟你配置的index-writers.xml有關 indexer.index(crawlDb, linkDb,Arrays.asList(HadoopFSUtil.getPaths(fstats)),false);//清除302，401等網頁，這里的清除操作是添加索引之后 cleaningJob.delete(crawlDb.toString(),false);

總結

以上是生活随笔為你收集整理的nutch开发(二)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。