頁面解析與數(shù)據(jù)提取

實際上爬蟲一共就四個主要步驟：

定（要知道你準備在哪個范圍或者網(wǎng)站去搜索）

爬（將所有的網(wǎng)站的內(nèi)容全部爬下來）

取（分析數(shù)據(jù)，去掉對我們沒用處的數(shù)據(jù)）

存（按照我們想要的方式存儲和使用）

表（可以根據(jù)數(shù)據(jù)的類型通過一些圖標展示）

以前學的就是如何從網(wǎng)站去爬數(shù)據(jù)，而爬下來的數(shù)據(jù)卻沒做分析，現(xiàn)在，就開始對數(shù)據(jù)做一些分析。

數(shù)據(jù)，可分為非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)

• 非結(jié)構(gòu)化數(shù)據(jù)：先有數(shù)據(jù)，再有結(jié)構(gòu)
• 結(jié)構(gòu)化數(shù)據(jù)：先有結(jié)構(gòu)，再有數(shù)據(jù)
• 不同類型的數(shù)據(jù)，我們需要采用不同的方式來處理

非結(jié)構(gòu)化的數(shù)據(jù)處理

文本、電話號碼、郵箱地址

• 正則表達式Python正則表達式

HTML文件

• 正則表達式
  
• XPath
  
• CSS選擇器

結(jié)構(gòu)化的數(shù)據(jù)處理

JSON文件

• JSON Path
• 轉(zhuǎn)化為Python類型進行操作（json類）

XML文件

• • 轉(zhuǎn)化為Python類型（xmltodict）
  • XPath
  • CSS選擇器
  • 正則表達式

轉(zhuǎn)載于:https://www.cnblogs.com/moying-wq/p/11569914.html

總結(jié)

以上是生活随笔為你收集整理的Python爬虫(七)_非结构化数据与结构化数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。