python爬虫学习(一) requests模块
生活随笔
收集整理的這篇文章主要介紹了
python爬虫学习(一) requests模块
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
requests模塊: python中原生的一款基于網絡請求的模塊,功能非常強大,簡單便捷,效率極高。作用:模擬瀏覽器發請求。
如何使用:(requests模塊的編碼流程)
一指定url
一發起請求
一獲取響應數據
-持久化存儲
環境安裝:
pip install requests
或者在pycharm里面安裝
編寫代碼爬取
#-- coding:UTF-8 -- import sys reload(sys) sys.setdefaultencoding('utf8') import requests if __name__ == '__main__':#1.指定urlurl='https://www.sogou.com/'#2.發起請求,獲取響應對象response = requests.get(url=url)#3.獲取響應數據,為字符串形式page_text = response.textprint (page_text)#4.存儲到本地with open('./sogou.html','w') as fp:fp.write(page_text)print ('爬取過程結束')
發現都是在一行
按 Ctrl+Alt+L 即可
總結
以上是生活随笔為你收集整理的python爬虫学习(一) requests模块的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: [JDBC] 获取数据库连接方式
- 下一篇: Python报错UnicodeEncod