請求庫(requests,selenium)、解析庫(beautifulsop)、存儲庫、工具庫等

?

urelib? ?

re

上面這兩個(gè)是python自帶的庫

需要自己安裝額庫：

(在windows下，使用pip install 命令)

requests

selenium用來驅(qū)動瀏覽器，做自動化測試，一些被js渲染的用這個(gè)來獲取源代碼

phantomjs,無界面瀏覽器，下載，并將phantomjs.exe配置到環(huán)境變量

lxml,可以用來進(jìn)行網(wǎng)頁的解析

------------------------------------

beautifulsoup,也是一個(gè)網(wǎng)頁解析庫，并且依賴于lxml庫，在安裝時(shí)需要輸入pip3 install beautifulsoup4,導(dǎo)入時(shí)使用import bs4 ?

from bs4 import Beautifulsoup

-------------------------------------

?

pyquery也是一個(gè)網(wǎng)頁解析庫，比beautifulsoup更加方便

一些存儲庫：

pymysql

pymongo

redis

一些工具庫

flask是一個(gè)web庫，在做一些代理的設(shè)置是=時(shí)，可? 能會用到這個(gè)庫

django,一個(gè)web服務(wù)器框架

jupyter，可以理解為一個(gè)筆記本，但這個(gè)筆記本功能比較強(qiáng)，可以在先運(yùn)行代碼，很多功能，用來寫代碼或者文檔記錄很方便

在linux下，使用如下命令即可：

pip3 install requests selenium beautifulsoup4 puquery pymysql pymongo redis flask django jupyter

?

轉(zhuǎn)載于:https://www.cnblogs.com/ronghe/p/9142241.html

總結(jié)

以上是生活随笔為你收集整理的爬虫常用库的安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。