準備使用WebMagic實現爬取數據的功能。這里是一個比較完整的實現。

在這里我們實現的是聚焦網絡爬蟲，只爬取招聘的相關數據。

---

---

業務分析

今天要實現的是爬取https://www.51job.com/上的招聘信息。只爬取“計算機軟件”和“互聯網電子商務”兩個行業的信息

首先訪問頁面并搜索兩個行業。結果如下

點擊職位詳情頁，我們分析發現詳情頁還有一些數據需要抓取：

職位、公司名稱、工作地點、薪資、發布時間、職位信息、公司聯系方式、公司信息

---

---

---

---

數據庫表

CREATE TABLE `job_info` (`id` BIGINT(20) NOT NULL AUTO_INCREMENT COMMENT '主鍵id',`company_name` VARCHAR(100) DEFAULT NULL COMMENT '公司名稱',`company_addr` VARCHAR(200) DEFAULT NULL COMMENT '公司聯系方式',`company_info` TEXT COMMENT '公司信息',`job_name` VARCHAR(100) DEFAULT NULL COMMENT '職位名稱',`job_addr` VARCHAR(50) DEFAULT NULL COMMENT '工作地點',`job_info` TEXT COMMENT '職位信息',`salary_min` INT(10) DEFAULT NULL COMMENT '薪資范圍，最小',`salary_max` INT(10) DEFAULT NULL COMMENT '薪資范圍，最大',`url` VARCHAR(150) DEFAULT NULL COMMENT '招聘信息詳情頁',`time` VARCHAR(10) DEFAULT NULL COMMENT '職位最近發布時間',PRIMARY KEY (`id`) ) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='招聘信息';

---

---

實現流程

需要解析職位列表頁，獲取職位的詳情頁，再解析頁面獲取數據。

獲取url地址的流程如下

但是在這里有個問題：在解析頁面的時候，很可能會解析出相同的url地址(例如商品標題和商品圖片超鏈接，而且url一樣)，如果不進行處理，同樣的url會解析處理多次，浪費資源。所以我們需要有一個url去重的功能

---

---

???????Scheduler組件

WebMagic提供了Scheduler可以幫助我們解決以上問題。

Scheduler是WebMagic中進行URL管理的組件。一般來說，Scheduler包括兩個作用：

• 對待抓取的URL隊列進行管理。

• 對已抓取的URL進行去重。

???????WebMagic內置了幾個常用的Scheduler。如果你只是在本地執行規模比較小的爬蟲，那么基本無需定制Scheduler，但是了解一下已經提供的幾個Scheduler還是有意義的。

去重部分被單獨抽象成了一個接口：DuplicateRemover，從而可以為同一個Scheduler選擇不同的去重方式，以適應不同的需要，目前提供了兩種去重方式。

RedisScheduler是使用Redis的set進行去重，其他的Scheduler默認都使用HashSetDuplicateRemover來進行去重。

如果要使用BloomFilter，必須要加入以下依賴：

<!--WebMagic對布隆過濾器的支持--><dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>16.0</version></dependency>

?

總結

以上是生活随笔為你收集整理的案例开发分析 || ​​​​​​​Scheduler组件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。