sql年月日24小时制_Power Query 抓取气象台24小时降水量数据
我們借鑒之前抓取臺風路徑數據的例子,試一試抓取降水量數據:
之前我們訪問過這個網站,也試著抓取過數據,不過在谷歌瀏覽器中我們只能夠找到兩天的數據,但是通過臺風路徑數據抓取,我們猜想只要我們向服務器提出正確的查詢參數,就能返回對應的結果,報這個想法,我們就來試一試。
網站分析
這個網站一點也不復雜,視乎只要提供年月日時作為查詢參數就可以了,后面數據的亂碼沒有關系,在Power Query中能夠識別出來。
試抓
如果不能自動識別出編碼,就修改一下這個參數,65001對應的是utf8,我們國家的網站通常就兩種編碼,GB2312和utf8,GB2312對應的是936或者20936都可以。
不需要特別的驗證,直接就能抓取下來。
定義函數
其實可以在上面試抓的基礎上展開數據之后再定義函數:
這樣我們的函數結果就是一張表,否則就是一條記錄,還需要再整理。
s=Table.FromRows(t[data][data],t[data][header])
這一句就是把記錄轉換為表格,當然這個不是通用的,只是針對這個記錄的格式。
我們調用一下這個函數:
上面這個2020032101是我們可以抓取的最早的數據,也就是說這個網站提供了從2020年3月21日1時起的24小時降雨量數據,當然也有1小時降雨量。那么我們要抓取24小時降雨量,就要列出一個日期列表,然后根據日期列表抓取數據。1小時,6小時,13小時降雨量的抓取方法,可以參照本文的方法來做。
抓取
準備工作:列出日期表
用List.Dates函數,列出日期表,再轉換成文本格式:
用Date.ToText([date],"yyyyMMdd"),這里一定要注意月份用大寫的M,不要小寫,小寫的m會返回分鐘。
調用函數抓取數據:
展開數據:
加載數據:
各省市平均降雨量逐日
總結
以上是生活随笔為你收集整理的sql年月日24小时制_Power Query 抓取气象台24小时降水量数据的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python时间函数报错_Python
- 下一篇: 什么是python扩展库_什么是目前比较