Python 網絡爬蟲 001 (科普) 網絡爬蟲簡介

1. 網絡爬蟲是干什么的

我舉幾個生活中的例子：

例子一：
我平時會將 學到的知識 和 積累的經驗 寫成博客發送到CSDN博客網站上，那么對于我寫的Blender 3D 建模方面的博文，里面有很多的圖片。如果我要發布一篇 Blender 3D 建模的博文的話，圖片要一張一張的上傳，上傳的速度有時也是很慢，整個發表一遍這樣的博文，我光 上傳圖片 就要操作半個多小時，這樣效率太低了。
我能不能寫一個程序，讓它自動在后臺幫我上傳圖片？

例子二：
我這個人比較懶，懶到什么程度呢：我不愿意出去吃飯，基本上 一日三餐 都是網上訂外賣。其實我每次定的外賣都是那幾道菜。（因為好吃的外賣太少了。）那我就是很懶，定外賣我都不愿意自己定，我就希望一到吃飯時間，就有人主動過來給我送飯。因為我有選擇障礙，每次餓的時候，定外賣我都要選很久，最后還是定了經常吃的菜，不但浪費時間，而且重點是：我現在肚子是餓的，外賣最快的都要半個小時之后才送到。
我能不能寫一個程序，它自動幫我訂一日三餐的外賣？

例子三：
如果你開了一家淘寶網店，你想及時了解競爭對手們的商品價錢，好做相應的對策。我每天都要訪問他們的淘寶網店，再與我自家的網店商品價錢做對比，如果發現競爭對手的商品的價錢有改動，我自家的網店里同樣的商品的 價錢也要跟著進行相應的改動。這是要發費大量的時間的。一個大寫的 “煩” 字表達了我現在的心情。我都開網店了，大大小小也是個老板啊，老板的時間多寶貴啊，我要是每天都做這樣的事情，那我一天都得損失好幾個億啊！
我能不能寫一個程序，讓它來實時監視競爭對手網店里面商品的價錢，并且自動對自家網店里的商品的價錢做相應的修改呢？

這些現實生活中的問題，最終的答案都是：是的，你可以寫這樣的程序，來幫助你提高工作效率。
通過本博客專欄的教程，你可以用網絡爬蟲技術實現這些重復性任務的自動化處理。

2. 網絡爬蟲是否合法

是的，對于像我這種懶人來說，網絡爬蟲真的是偶的救星啊！我不但可以幫助你提高工作效率，而且可以幫你爬取到任何一個網站上的所有信息。那么問題來了：網絡爬蟲是否合法？
怎么說呢，現在（2016-9-2 21:34:06）中國還沒有相關的法律規定。
不過萬事萬物都要有一個度，如果你肆無忌憚的進行自己的抓取行為，你可能會犯法。

3. 網絡爬蟲 官方介紹

最后，還是要貼出官方對網絡爬蟲的介紹：

網絡爬蟲（Web crawler）也叫網絡蜘蛛（Web spider），螞蟻（ant），自動檢索工具（automatic indexer），或者（在FOAF軟件概念中）網絡疾走（WEB scutter），是一種“自動化瀏覽網絡”的程序，或者說是一種網絡機器人。它們被廣泛用于互聯網搜索引擎或其他類似網站，以獲取或更新這些網站的內容和檢索方式。它們可以自動采集所有其能夠訪問到的頁面內容，以供搜索引擎做進一步處理（分檢整理下載的頁面），而使得用戶能更快的檢索到他們需要的信息。

---

總結：
這一節，我了解了什么是網絡爬蟲。下一節，我們來介紹：在爬取一個網站前，首先要對目標站點的規模和結果進行一定程度的了解。

轉載于:https://www.cnblogs.com/aobosir/p/5928579.html

總結

以上是生活随笔為你收集整理的Python 网络爬虫 001 (科普) 网络爬虫简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。