先在網(wǎng)頁(yè)進(jìn)行搜索

得到url

https://www.sogou.com/web?query=波曉張&_asf=www.sogou.com&_ast=&w=01019900&p=40040100&ie=utf8&from=index-nologin&s_from=index&sut=9915&sst0=1645748279699&lkt=0%2C0%2C0&sugsuv=1645702898231618&sugtime=1645748279699

提取主要部分的url

https://www.sogou.com/web?query=波曉張

編寫(xiě)代碼

# coding=UTF-8 import sys reload(sys) sys.setdefaultencoding('utf8') import requests if __name__ == '__main__':#UA偽裝:將對(duì)應(yīng)的User-Agent封裝到一個(gè)字典中headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:97.0) Gecko/20100101 Firefox/97.0'}#處理url攜帶的參數(shù):封裝到字典中url='https://www.sogou.com/web?'kw=raw_input('你想要爬取什么:')param={'query':kw}#對(duì)指定的urL發(fā)起的請(qǐng)求對(duì)應(yīng)的url是攜帶參數(shù)的,并且請(qǐng)求過(guò)程中處理了參數(shù)response = requests.get(url=url,params=param,headers=headers)page_text = response.textfileName = kw+'.html'with open(fileName.decode('utf-8'),'w') as fp:fp.write(page_text)print (fileName,'保存成功!!!')

總結(jié)

以上是生活随笔為你收集整理的python爬虫学习(二) 简易网页爬取的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。