python秒杀神器苏宁_Python爬虫——实战三:爬取苏宁易购的商品价格
蘇寧易購的商品價格請求URL為
https://pas.suning.com/nspcsale_0_000000000152709847_000000000152709847_0000000000_10_010_0100101_20268_1000000_9017_10106_Z001___R0104002_46.5_0_.html?callback=pcData&_=1503023077300
價格在返回的數據中結構為:pcData[0]–>data–>price–>saleInfo–>0–>promotionPrice。
但是上面的URL很難看出是什么結構,并且也不知道需要的信息應該從哪里獲得。所以直接訪問URL這種方法不具備通用性。
"""
from PySide.QtGui import *
from PySide.QtWebKit import *
from PySide.QtCore import *
"""
from PySide import *
import time
class BrowserRender(QWebView):
def __init__(self, show=True):
self.app = QApplication(sys.argv)
QWebView.__init__(self)
if show:
self.show()
def download(self, url, timeout=60):
loop = QEventLoop()
timer = QTimer()
timer.setSingleShot(True)
timer.timeout.connect(loop.quit)
self.loadFinished.connect(loop.quit)
self.load(QUrl(url))
timer.start(timeout * 1000)
loop.exec_()
if timer.isActive():
timer.stop()
return self.html()
else:
print "Request time out: " + url
def html(self):
return self.page().mainFrame().toHtml()
def find(self, pattern):
return self.page().mainFrame().findAllElements(pattern)
def attr(self, pattern, name, value):
for e in self.find(pattern):
e.setAttribute(name, value)
def text(self, pattern, value):
for e in self.find(pattern):
e.setPlainText(value)
def click(self, pattern):
for e in self.find(patter):
e.evaluateJavaScript("this.click()")
"""
def wait_load(self, pattern, timeout=60):
deadline = time.time() + timeout
while time.time() < deadline:
self.app.processEvents()
matches = self.find(pattern)
if matches:
return matches
print "wait load time out"
"""
9
if __name__=="__main__":
br = BrowserRender()
br.download("https://product.suning.com/0000000000/152709847.html?srcpoint=index3_homepage1_32618213038_prod02")
price = br.find("span.mainprice" )
print price[0].toPlainText().strip()
如您對本文有疑問或者有任何想說的,請點擊進行留言回復,萬千網友為您解惑!
總結
以上是生活随笔為你收集整理的python秒杀神器苏宁_Python爬虫——实战三:爬取苏宁易购的商品价格的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python虽然火为什么工作少_学 Py
- 下一篇: 卡尔曼滤波器_使用卡尔曼滤波器和路标实现