爬虫2-web请求与http协议
生活随笔
收集整理的這篇文章主要介紹了
爬虫2-web请求与http协议
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1web請求
1服務器渲染 在服務器那邊直接把數據和html整合在一起,統(tǒng)一返回給瀏覽器
???????????? 在頁面源代碼中可以看到數據
2客戶端渲染 第一次請求只拿到html骨架,
???????????? 第二次請求拿到數據,進行數據分析
???????????? 在頁面源代碼中看不到數據
?熟練使用瀏覽器抓包工具:檢查(F12)-network-header,preview
2http協(xié)議
協(xié)議:數據間傳輸的規(guī)則 HTTP協(xié)議:超文本傳輸協(xié)議,用于從www 服務器傳輸超文本到本地瀏覽器的傳送協(xié)議。 瀏覽器和服務器之間的數據交互遵守的就是HTTP協(xié)議請求 # 請求行->請求方式(get post) 請求url地址 協(xié)議 # 請求頭->放一些服務器使用的附加信息 # 請求體->一般放請求參數響應 # 狀態(tài)行->協(xié)議 狀態(tài)碼 # 響應頭->放一些客戶端要使用的附加信息 # 響應體->服務器返回的真正客戶端要用的內容(Html json)# 請求頭中最常見的一些重要內容(爬蟲內容): # 1.User-Agent:請求載體的身份標識(用啥發(fā)送的請求) # 2.Referer:防盜鏈(這次請求是從哪個頁面來的 反爬會用到) # 3.cookie:本地字符串數據信息(用戶登錄信息 反爬的token)# 響應頭中的一些重要的內容: # 1.cookie:本地字符串數據信息(用戶登錄信息,反爬的token) # 2.各種神奇的莫名其妙的字符串# 請求方式: # get:顯式提交 # post:隱式提交總結
以上是生活随笔為你收集整理的爬虫2-web请求与http协议的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python数据处理和数据分析的区别_p
- 下一篇: octave错误-error: ‘squ