Python爬蟲綜合案例
import requests
import xlwt
from bs4 import BeautifulSoup
from urllib.parse import unquote,quote

#創(chuàng)建表格
w=xlwt.Workbook(encoding=‘utf-8’)

#添加一個sheet頁
ws=w.add_sheet(‘京東爬取結(jié)果’)

#設(shè)置樣式
style=xlwt.XFStyle() # 初始化樣式
font=xlwt.Font() # 為樣式創(chuàng)建字體
font.name=‘Times New Roman’ #設(shè)置字體 font.bold = True # 黑體 font.underline = True # 下劃線 font.italic = True # 斜體字
style.font=font # 設(shè)定樣式

#寫入表格頭標(biāo)題內(nèi)容
ws.write(0,0,‘排名’)
ws.write(0,1,‘鏈接’)
ws.write(0,2,‘商品名’)
ws.write(0,3,‘商店名’)
ws.write(0,4,‘價格’)

#抓取商品ID，構(gòu)造每個產(chǎn)品的訪問連接
keyword = quote(‘口紅’,encoding=‘utf-8’)
url = “https://search.jd.com/Search?keyword=”+keyword+"&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&stock=1&psort=3&click=0"

header = {
“user-agent”: “Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36”
}

session = requests.session()#獲得session，能夠保持代碼證session的統(tǒng)一
requests.packages.urllib3.disable_warnings()#忽略warning警告
response = session.get(url, headers = header , verify = False)#解決ssl安全鏈接報錯問題

soup = BeautifulSoup(response.text,‘html.parser’)#構(gòu)造bs4解析器
product_id = soup.select(’.gl-item’)#得到所有class=gl-item的標(biāo)簽

for i in range(len(product_id)): #對每個標(biāo)簽構(gòu)造訪問鏈接，獲得對應(yīng)商品信息
##for i in range(1):
sku_link = “https://item.jd.com/”+product_id[i].get(‘data-sku’)+".html"

##獲取商品信息 response = session.get(sku_link, headers = header, verify = False) soup = BeautifulSoup(response.text,'html.parser')#商品名稱 sku_name = soup.select_one('.sku-name').text#商店名稱 try:sku_shopname = soup.find(clstag='shangpin|keycount|product|dianpuname1').text #商店名稱 國內(nèi) except:sku_shopname = soup.find(clstag='shangpin|keycount|product|dianpu_oversea').text #商店名稱 跨境 sku_price = soup.find('span',{'class':'p-price'})#商品價格 sku_pricelink = 'https://p.3.cn/prices/mgets?skuIds=J_'+product_id[i].get('data-sku') response = session.get(sku_pricelink, headers = header, verify = False) sku_price = response.json()[0]['p']#商品評論 未完成 ## 在線json解析網(wǎng)址：http://www.bejson.com/ ## header['Host'] = 'club.jd.com' ## header['Referer'] = 'https://item.jd.com/2349751.html' ## link_comment ='https://club.jd.com/comment/skuProductPageComments.action?\ ## callback=fetchJSON_comment98vv16692\ ## &productId=2349751\ ## &score=0\ ## &sortType=5\ ## &page=0\ ## &pageSize=10\ ## &isShadowSku=0' ## response = session.get(link_comment, headers = header, verify = False) ## print(response.text)#打印 sku_rank = str(i+1) print("排名："+ sku_rank) print("商品連接："+sku_link) print("商品名稱："+sku_name.strip()) print("商店名稱："+sku_shopname.strip()) print("商品價格："+ sku_price)#寫入excel print('開始寫入excel,請稍等...',end='') sku_info = [sku_rank,sku_link,sku_name.strip(),sku_shopname.strip(),sku_price] for k in range(5):ws.write(i+1,k,sku_info[k]) #兩個參數(shù) ： 行號，寫入內(nèi)容 print('寫入成功') print('')

w.save(‘京東爬蟲結(jié)果.xls’)

歡迎使用Markdown編輯器

你好！ 這是你第一次使用 Markdown編輯器 所展示的歡迎頁。如果你想學(xué)習(xí)如何使用Markdown編輯器, 可以仔細(xì)閱讀這篇文章，了解一下Markdown的基本語法知識。

新的改變

我們對Markdown編輯器進(jìn)行了一些功能拓展與語法支持，除了標(biāo)準(zhǔn)的Markdown編輯器功能，我們增加了如下幾點新功能，幫助你用它寫博客：

全新的界面設(shè)計 ，將會帶來全新的寫作體驗；

在創(chuàng)作中心設(shè)置你喜愛的代碼高亮樣式，Markdown 將代碼片顯示選擇的高亮樣式 進(jìn)行展示；

增加了 圖片拖拽 功能，你可以將本地的圖片直接拖拽到編輯區(qū)域直接展示；

全新的 KaTeX數(shù)學(xué)公式 語法；

增加了支持甘特圖的mermaid語法¹ 功能；

增加了 多屏幕編輯 Markdown文章功能；

增加了 焦點寫作模式、預(yù)覽模式、簡潔寫作模式、左右區(qū)域同步滾輪設(shè)置 等功能，功能按鈕位于編輯區(qū)域與預(yù)覽區(qū)域中間；

增加了 檢查列表 功能。

功能快捷鍵

撤銷：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜體：Ctrl/Command + I
標(biāo)題：Ctrl/Command + Shift + H
無序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
檢查列表：Ctrl/Command + Shift + C
插入代碼：Ctrl/Command + Shift + K
插入鏈接：Ctrl/Command + Shift + L
插入圖片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替換：Ctrl/Command + G

合理的創(chuàng)建標(biāo)題，有助于目錄的生成

直接輸入1次#，并按下space后，將生成1級標(biāo)題。
輸入2次#，并按下space后，將生成2級標(biāo)題。
以此類推，我們支持6級標(biāo)題。有助于使用TOC語法后生成一個完美的目錄。

如何改變文本的樣式

強調(diào)文本 強調(diào)文本

加粗文本 加粗文本

標(biāo)記文本

刪除文本

引用文本

H₂O is是液體。

2¹⁰ 運算結(jié)果是 1024.

插入鏈接與圖片

鏈接: link.

圖片:

帶尺寸的圖片:

居中的圖片:

居中并且?guī)С叽绲膱D片:

當(dāng)然，我們?yōu)榱俗層脩舾颖憬?#xff0c;我們增加了圖片拖拽功能。

如何插入一段漂亮的代碼片

去博客設(shè)置頁面，選擇一款你喜歡的代碼片高亮樣式，下面展示同樣高亮的 代碼片.

// An highlighted block var foo = 'bar';

生成一個適合你的列表

• 項目
  • 項目
    • 項目

項目1

項目2

項目3

• 計劃任務(wù)
• 完成任務(wù)

創(chuàng)建一個表格

一個簡單的表格是這么創(chuàng)建的：

項目Value

電腦	$1600
手機(jī)	$12
導(dǎo)管	$1

設(shè)定內(nèi)容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列

第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants將ASCII標(biāo)點字符轉(zhuǎn)換為“智能”印刷標(biāo)點HTML實體。例如：

TYPEASCIIHTML

Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

創(chuàng)建一個自定義列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何創(chuàng)建一個注腳

一個具有注腳的文本。²

注釋也是必不可少的

Markdown將文本轉(zhuǎn)換為 HTML。

KaTeX數(shù)學(xué)公式

您可以使用渲染LaTeX數(shù)學(xué)表達(dá)式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n?1)!?n\in \mathbb{N}$ 是通過歐拉積分

$$\Gamma (z)={\int }_0^{\infty }{t}^{z?1}{e}^{?t}dt.$$

你可以找到更多關(guān)于的信息 LaTeX 數(shù)學(xué)表達(dá)式here.

新的甘特圖功能，豐富你的文章

Mon 06 Mon 13 Mon 20 已完成 進(jìn)行中 計劃一 計劃二 現(xiàn)有任務(wù) Adding GANTT diagram functionality to mermaid

• 關(guān)于 甘特圖 語法，參考 這兒,

UML 圖表

可以使用UML圖表進(jìn)行渲染。 Mermaid. 例如下面產(chǎn)生的一個序列圖：

張三 李四 王五 你好！李四, 最近怎么樣? 你最近怎么樣，王五？ 我很好，謝謝! 我很好，謝謝! 李四想了很長時間, 文字太長了 不適合放在一行. 打量著王五... 很好... 王五, 你怎么樣? 張三 李四 王五

這將產(chǎn)生一個流程圖。:

鏈接 長方形 圓 圓角長方形 菱形

• 關(guān)于 Mermaid 語法，參考 這兒,

FLowchart流程圖

我們依舊會支持flowchart的流程圖：

Created with Rapha?l 2.2.0 開始 我的操作 確認(rèn)？ 結(jié)束 yes no

• 關(guān)于 Flowchart流程圖 語法，參考 這兒.

導(dǎo)出與導(dǎo)入

導(dǎo)出

如果你想嘗試使用此編輯器, 你可以在此篇文章任意編輯。當(dāng)你完成了一篇文章的寫作, 在上方工具欄找到 文章導(dǎo)出 ，生成一個.md文件或者.html文件進(jìn)行本地保存。

導(dǎo)入

如果你想加載一篇你寫過的.md文件，在上方工具欄可以選擇導(dǎo)入功能進(jìn)行對應(yīng)擴(kuò)展名的文件導(dǎo)入，
繼續(xù)你的創(chuàng)作。

---

mermaid語法說明 ??

注腳的解釋 ??

總結(jié)

以上是生活随笔為你收集整理的python爬虫京东口红销售排行的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。