【Python爬虫】Python3+selenium环境配置
在我們爬蟲爬網過程中,我們需要用到Python3+selenium,Selenium是一個自動化測試工具,利用它我們可以驅動瀏覽器執行特定的動作,如點擊、下拉等操作。對于一些JavaScript渲染的頁面來說,這種抓取方式非常有效。
文章參考了博主崔慶才的文章:https://cuiqingcai.com/5052.html,在此表示感謝!
?
Selenium的安裝
1.相關鏈接
官方網站:http://www.seleniumhq.org
GitHub:https://github.com/SeleniumHQ/selenium/tree/master/py
PyPI:https://pypi.python.org/pypi/selenium
官方文檔:http://selenium-python.readthedocs.io
中文文檔:http://selenium-python-zh.readthedocs.io
2.windows環境通過cmd命令行方式安裝
?
pip3 install seleniumChromeDriver驅動的安裝
安裝好了Selenium后,我們還需要瀏覽器來配合使用,因為它只是一個自動化測試工具,這里主要介紹ChromeDriver驅動的安裝,安裝好后可以打開Chrome瀏覽器。
1.相關鏈接
官方網站:https://sites.google.com/a/chromium.org/chromedriver
下載地址:https://chromedriver.storage.googleapis.com/index.html
2.安裝Chrome瀏覽器
安裝了Chrome瀏覽器后,點擊Chrome菜單“幫助”→“關于Google Chrome”,查看Chrome的版本號,如圖所示:
本人的版本號為64.0,需要去找到能夠匹配這個版本瀏覽器的驅動。
3.下載ChromeDriver
打開ChromeDriver的官方網站,發現v2.35能夠支持版本號為64.0,隨后到ChromeDriver鏡像站下載對應的安裝包即可:https://chromedriver.storage.googleapis.com/index.html
為了方便查找驅動ChromeDriver能夠支持的版本,可以查看以下selenium之chromedriver與chrome版本映射表
(參考博主huilan_same文章:http://blog.csdn.net/huilan_same/article/details/51896672)
?
| v2.35 | v62-64 |
| v2.34 | v61-63 |
| v2.33 | v60-62 |
| v2.32 | v59-61 |
| v2.31 | v58-60 |
| v2.30 | v58-60 |
| v2.29 | v56-58 |
| v2.28 | v55-57 |
| v2.27 | v54-56 |
| v2.26 | v53-55 |
| v2.25 | v53-55 |
| v2.24 | v52-54 |
| v2.23 | v51-53 |
| v2.22 | v49-52 |
| v2.21 | v46-50 |
| v2.20 | v43-48 |
驅動的配置
在Windows下,將下載的ChromeDriver可執行文件chromedriver.exe拖到Python的Scripts目錄下
?
然后通過以下代碼在python環境測試是否安裝成功
from selenium import webdriver driver = webdriver.Chrome() driver.maximize_window() # 最大化瀏覽器 driver.implicitly_wait(8) # 設置隱式時間等待 driver.get("https://www.baidu.com")配置好相關環境后,以后爬蟲相關操作需要用到Python3+selenium。
?
總結
以上是生活随笔為你收集整理的【Python爬虫】Python3+selenium环境配置的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: CSS中z-index属性的简单理解
- 下一篇: 好用的工具网站!(缓慢收集中!)