本方法使用cookie的方法下載智聯(lián)招聘的職位。主要就是要先登錄智聯(lián)招聘，然后將對應的cookie作為爬蟲訪問的header。代碼如下：

import requests import re import xlwtdef parse_one_page(html):'''解析HTML代碼，提取有用信息并返回'''# 正則表達式進行解析pattern = re.compile('<span title=.*? class="iteminfo__line1__jobname__name">(.*?)</span>.*?''<span title=.*? class="iteminfo__line1__compname__name">(.*?)</span>.*?''<p class="iteminfo__line2__jobdesc__salary">\\n\s+(.*?)\\n.*?''<li class="iteminfo__line2__jobdesc__demand__item">(.*?)</li>', re.S) # 匹配職位信息# 匹配所有符合條件的內容try:items = re.findall(pattern, html)return itemsexcept:return 404def get_next_page(page):p_url = url+"&p="+pagehtml = requests.get(p_url,headers=headers)if html.status_code == 200:return parse_one_page(html.text)url = 'https://sou.zhaopin.com/?jl=530&kw=%E6%88%BF%E5%9C%B0%E4%BA%A7%E9%94%80%E5%94%AE' # 將爬蟲偽裝成瀏覽器請求網頁數(shù)據(jù) cookie = '''將cookie拷貝到這里，不用修改，可直接使用''' cookie = cookie.encode("utf-8") headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063','cookie': cookie } workbook = xlwt.Workbook(encoding='utf-8') # 創(chuàng)建一個worksheet worksheet = workbook.add_sheet('My Worksheet') line = 1 for i in range(33,38):print(i)code = get_next_page(str(i))if code == 404 or len(code)==0:print("end")breakelse:for l in range(len(code)):for k in range(4):worksheet.write(line, k, label=code[l][k])line = line+1# 保存 workbook.save('Excel_test.xls')

總結

以上是生活随笔為你收集整理的python 爬虫 智联招聘的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。