python爬取动态网页的内容
生活随笔
收集整理的這篇文章主要介紹了
python爬取动态网页的内容
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
from bs4 import BeautifulSoup
from selenium import webdriver
import timedef main():driver = webdriver.Firefox()#用FireFox來渲染,chrome也可以,不過還要下載相應(yīng)的exe文件driver.get('http://book.km.com/chapter/1462907_3.html')//小說的內(nèi)容是用ajax取得的,普通的靜態(tài)下載不下來time.sleep(4)srcCode = driver.page_source#獲取渲染后的源碼soup = BeautifulSoup(srcCode,"lxml")article = soup.find('div',{"class":"article-body"})#查找文章的位置if article!=None:print(article.text)
if __name__=="__main__":main()
這里的一篇好文章:selenium用法
總結(jié)
以上是生活随笔為你收集整理的python爬取动态网页的内容的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: C++约瑟夫问题求解
- 下一篇: mfc实现秒表小项目