网络爬虫（一）：配置selenium、pycharm（windows平台）
最近在學(xué)習(xí)爬蟲(chóng)的編寫(xiě)，使用selenium模塊時(shí)候，遇到了很多坑，本blog的目的是總結(jié)一下遇到的坑和解決辦法，以便后來(lái)人少走彎路！
以下介紹均以Python3.x為基準(zhǔn)進(jìn)行，基于windows平臺(tái)的。
1. Selenium配置
我們?cè)谧雠老x(chóng)的時(shí)候，避免不了要使用selenium模塊，但是它不是python的標(biāo)準(zhǔn)庫(kù)，所以需要自行安裝。
那么如何安裝selenium呢，這時(shí)候就用到了pip這個(gè)工具。
1. 首先我們需要下載pip：
所謂pip,即Python Install Packet(python安裝包)。
- pip下載地址
2. 然后我們解壓下載的pip，打開(kāi)cmd命令控制臺(tái)，cd到剛才解壓的目錄：
可以看到，python不是內(nèi)部命令，執(zhí)行失敗；這是由于python的可執(zhí)行文件路徑?jīng)]有加入到windows的環(huán)境變量里。
3. 設(shè)置環(huán)境變量：
按照如下的順序：
計(jì)算機(jī) -> 屬性 -> 高級(jí)系統(tǒng)設(shè)置 -> 高級(jí) -> 環(huán)境變量 -> path
將python.exe所在路徑添加到path中(注意，不同路徑間的隔離使用;)
4. 驗(yàn)證pip是否安裝成功
使用如下命令(使用此命令之前，同樣需要將pip所在的目錄加入到環(huán)境變量中,默認(rèn)的pip路徑為python.exe同目錄文件夾Scripts下)：
- pip list
5. 安裝selenium模塊
采用如下命令：
- pip install selenium
至此，selenium模塊算是安裝完成了
6. 配置selenium使其支持不同瀏覽器
開(kāi)發(fā)中，我們一般采用chrome或firefox，因此我以這兩款為準(zhǔn)進(jìn)行講解。
當(dāng)我們安裝完成selenium模塊，準(zhǔn)備使用其進(jìn)行編碼時(shí)，突然發(fā)現(xiàn)，又有問(wèn)題出現(xiàn)了：
發(fā)生以上原因是因?yàn)? 缺少Chrome/Firefox的webdriver驅(qū)動(dòng)。
驅(qū)動(dòng)的下載地址：
- Chrome/Firefox webdriver github 地址
- 該地址下有所有的IE/Chrome/Firefox webdriver
將下載好的驅(qū)動(dòng)解壓，然后放到與python.exe同一個(gè)目錄中；
到此處，你可以試試如下代碼：
# coding = utf-8 from time import sleep from selenium import webdriverbrowser = webdriver.Firefox()browser.get(r"http://www.baidu.com") browser.find_element_by_id("kw").send_keys("python") browser.find_element_by_id("su").click() sleep(5) browser.quit()將會(huì)打開(kāi)一個(gè)新的firefox窗口，算是selenium配置成功。
2. Pycharm 2017.3破解與使用
Pycharm是玩python、web開(kāi)發(fā)、爬蟲(chóng)等等必不可少的工具，其優(yōu)秀性不必多言，誰(shuí)用誰(shuí)知道！
1. 下載并安裝 Pycharm2017
- Pycharm 2017下載地址
安裝不用多說(shuō)了吧！
2. 破解pycharm
進(jìn)入Pycharm, 點(diǎn)擊Help -> Register
然后，去下載一個(gè)破解軟件：
- idea_active_proxy.exe
按照下圖進(jìn)行設(shè)置：
輸入完成后，點(diǎn)擊Active，一切都o(jì)k了！
另外，破解的專(zhuān)業(yè)網(wǎng)站地址：
- Pycharm 破解教程
3. 注冊(cè)完成后，我們將開(kāi)始我們第一個(gè)項(xiàng)目:
# coding = utf-8 from time import sleep from selenium import webdriverbrowser = webdriver.Firefox()browser.get(r"http://www.baidu.com") browser.find_element_by_id("kw").send_keys("python") browser.find_element_by_id("su").click() sleep(5) browser.quit()運(yùn)行過(guò)程中，可能會(huì)出現(xiàn)如下的錯(cuò)誤：
雖然我們安裝了selenium，但是Pycharm找不到這個(gè)模塊(包)，這怎么回事呢？
原因就是我們使用的python 解釋器的問(wèn)題(未使用系統(tǒng)默認(rèn)的解釋器)
可做如下修改：
- File -> Settings -> Project coding -> Project interpreter
選擇所需要的Python解釋器。
如下拉列表中沒(méi)有對(duì)應(yīng)的系統(tǒng)Python解釋器，我們可以自己添加：
設(shè)置完以上之后，重新回到代碼區(qū)運(yùn)行上述代碼，一切都o(jì)k了！
至此，大功告成！！！
轉(zhuǎn)載于:https://www.cnblogs.com/Jimmy1988/p/8398507.html
總結(jié)
以上是生活随笔為你收集整理的网络爬虫（一）：配置selenium、pycharm（windows平台）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 使用Maven+Nexus+Jenkin
- 下一篇： js对象合并方法