?PaperWeekly 原創 ·?作者 | 西南交一枝花

單位 | 西南交通大學CCIT實驗室

研究方向 | NLP、時空數據挖掘

本次分享的是 AAAI 2022 一篇來自西湖大學的氣象預報工作《Conditional Local Convolution for Spatio-temporal Meteorological Forecasting》。

作者單位也對此論文進行了相關解讀。還對此解讀的原因有兩點：1）鏈接中的解讀介紹的過于泛泛，沒有看到問題轉化的過程；2）自己也在做這塊研究，同一個研究任務學習一下看待問題的角度以及相應的解決方法。

整體來說，該文針對氣象預測任務提出了一種條件局部時空圖網絡，從球面氣象信號特性切題，依據到圖神經網絡面向非規則數據的特征表達能力，考慮到氣象流動的區域性以及，設計局部條件的圖卷積核計算單元。

本文的介紹順序與原文有些類似，不過有些概念為方便理解提前給出。時空預測挑戰--->研究動機--->問題定義，相關概念--->方法介紹---->實驗。

時空氣象預測任務面臨兩大挑戰

1. 非規則分布傳感器采集到的氣象信號不同于平面柵格類圖像，不適用于 CNN 類網絡。比如，溫度傳感器在海洋或陸地上不均勻分布，不是固定結構的網格位置。此外，氣象數據通常是球面信號不是平面信號。之所以說氣象數據是球面信號，依據是氣象信號反映的地球表面的狀態，地球表面是球面。

2. 高維時序和空間依賴難以建模動態性。比如，不同的地形地貌表現出完全不同的風流或溫度傳播模式，另外，極端氣象變化導致氣象時序信號的非平穩性。

針對以上兩點，補充說明的是，除本文外，筆者并未搜索到氣象信號視為球面信號的工作，有了解的歡迎補充。關于第二點，對于 AI for environment science 是一個難題，環境科學是一個復雜的開放環境，難以對其完整建模，只能做簡化。以不同地形、地貌表現不同的氣象狀態為例，有時候隔一個山頭（空間距離并不遠）可能溫度差別很大，確實很難建模。通過數據探索空間兩個點所處地形的聯系，還是比較困難，可以引入先驗知識指示模型區分不同點的屬性。

研究動機

1. 圖神經網絡在非規則時空預測任務上取得較好的表現，如交通流預測、空氣質量預測等；

2. 氣象流在不同局部區域表現差異較大。

通過上述兩點的分析，作者想要建立一種圖卷積核，它可以感知不同位置區域進行相應計算，用于近似和類比真實環境下不同區域的局部氣象模式。

因此，基于位置特性的平滑性假設，提出了局部條件核，將其嵌入到基于圖卷積的循環網絡，圖卷積同時考慮兩個節點之間的距離和相對方向。

在文中 4.3，給出了該假設的解釋。氣象信息流動的局部模式具有平滑性，也就是，兩個相近的節點在從它們的鄰居聚合信息的模式應該是相似的。

下面，我們來看本文是如何定義位于球面氣象信號的時空預測任務。

問題定義&概念定義

輸入&輸出：給定 t 時刻，N 個位于球流形 的氣象信號，可以將其表示為圖 記錄了 N 個節點的位置。球面可以視為 的子集，所以每個節點位置包括了 ，并且 。 表示邊的幾何，A 表示鄰接矩陣。N 個信號在 t 時刻的氣象觀測值可以表示為 ，D 表示氣象因子的個數：

由于數據集不存在鄰接矩陣，本文計算兩兩之間的球面距離，然后再通過 K 近鄰聚類。

補充一下，wiki上的概念，流形是可以局部歐幾里得空間化的拓撲空間，是歐幾里得空間中的曲線、曲面等概念的推廣。地球表面是一個稍微復雜的流形。球面（球流形）由一群二維圖形表示，稱為二維流形。想要進一步了解，可以查閱：

https://www.wanweibaike.net/wiki-流形

圖卷積計算沒有特別說明，沿用了 DCRNN 的計算形式，除了論文特別提及的卷積核的數值應該對于著重影響氣象變化的鄰居節點上更大。比如，從東南往西北方向流動的熱流，應該給與東南方向的節點更大的權重。（感覺難以實現，首先數據上不支持，其次在卷積中如何依據此類知識動態賦予權重）

概念

1. 球流形，地球表面的信號可以看作是球面信號，所以引入了球流形便于卷積計算，由于卷積操作是在平面上進行的，論文定義了局部空間，又稱為 M-D 歐式空間，認為一般性的卷積可以在此局部空間計算。

2. 局部空間，是指以節點 x 為中心的局部歐式空間。

3. 球表面兩點距離計算。great-circle 距離，也稱為球面距離，可參考 https://en.wikipedia.org/wiki/Great-circle_distance。在計算 K 近鄰時需要依據兩點間的球面距離。

4. 同距映射（isometric map），球表面到局部空間映射，卷積是在平面上進行的，所以引入了局部空間，那么還需要把球表面映射到局部空間。涉及到球面上兩個點的距離，映射到局部空間上，兩點距離的變化。同距映射需要保證等距映射，即源球表面的距離應該等于映射后的平面距離。

5. 對數映射（Logarithmic map），用于將節點 x 的鄰居節點同距映射到局部空間。

6. 局部坐標系統，本質上是為了建立球表面映射到局部空間后節點之間的相對位置或相對方向。具體如何實現的，筆者未從文中看到。

所提方法

4.1 作用于球面的局部卷積

先對不同一般性圖卷積進行介紹。文中公式表示圖卷積如下：

公式 2、3 是通用的節點表示更新方式，公式 4 中， 表示卷積核，是 ，這里作者應該是想將之前作用在平面的卷積，定義為作用在球流形上的卷積，但僅給出了符號定義，沒說明計算上有什么不同，不過筆者沒有去看源碼，后續有新發現再來補充。基于這種定義，可以看出 是等價于 的，但是文中缺少對 的介紹。

下面看下對于 DCRNN 卷積公式的表示：

▲ DCRNN在本文

以下為 DCRNN 原論文表示：

▲ DCRNN3

兩者在計算上是一致的，用來表示帶權的鄰接矩陣。只不過作者在文中沒有從這個角度說明與 DCRNN 的關系。

下面返回到在球表面上做局部卷積操作：

1. 先給出在平面在做局部卷積計算定義，其中關于 k1 和 k2 的介紹，就是對卷積核大小的限定。

2. 將上述卷積擴展到球流形上需要兩個操作，通過等距映射將中心節點球表面的鄰居映射到局部空間，然后通過建立局部坐標系統，使得鄰居節點保持原有的相對方向。

如公式 10 和 11 所示，除等距映射和局部坐標系統外， 表示卷積核。

下面對如何構建局部坐標系統，如何實現等距映射以及局部卷積核的具體實現進行介紹。

4.2 局部空間構造

首先，引入圓柱正切空間（cylindrical-tangent space）和水平映射（horizon map），使用水平映射將球流形的節點映射到圓柱正切空間。為何不使用正切空間+對數映射，主要是考慮到前者可以保留原有球表面上的相對方向，這點我們在之前有提到過相對方向在氣象中的作用。

（上面子圖是正切空間搭配對數映射，下面子圖是圓柱正切空間搭配水平映射）

舉例來說，位于北半球的一個節點，鄰居位于它的東方，經過對數映射后，在正切空間上，會變為位于東北方。具體的證明，筆者沒有去細究，感興趣的可以在附錄上看證明。

鋪墊了這么久，終于要介紹條件局部卷積了。

4.3 條件局部卷積

作者認為局部條件卷積應該具有三個特性：

1. location-characterized，不同中心節點的局部區域，由卷積核抽取的氣象特征是不同的。

2. smooth， 空間距離相近的中心節點表現的模式應該是相似的。

3. common，核由不同局部空間的不同鄰居空間分布所共享。

下面一個個地介紹三個部分：

首先是位置特性，期望卷積能夠自適應學習并模仿每個中心節點局部區域的局部模式。 在更新時使用了鄰居信息（僅表示相對位置），這樣使得kernel不能捕獲局部特點模式。最后解決方法是加上自身節點，一大段介紹，有點封裝過度，一句話就能說清楚的事情，考慮了什么問題，所以采用了什么方法。

其次是平滑性，定義為兩個相近的節點在從它們的鄰居聚合信息的模式應該是相似的。

主要思想是如果節點 和 距離非常近，那么 相似于 。

我們先了解下為什么會有正交基？圓柱正切空間是歐式空間的一種，局部空間轉化可以通過兩個正交基來實現，這點在前面沒有介紹，這里補充一下。

作者認為統一標準的正交基選擇可以避免平滑性被破壞，原因如下圖所示：

▲ 平滑性

節點 i 和節點 j 互為鄰居，其所表示的正交基如紅色箭頭所示。給定球表面上一個點 p 位于兩個節點的東方，對節點 i 和節點 j 有較大的氣象影響。在局部坐標系統中，第一個坐標如果是正的，另外一個就是負的。如果不是統一標準的正交基，核如果還是平滑的話，p 不會對節點 i 和 j 造成很大影響（這是筆者對原文的意譯，但是確實沒看懂為何不會產生大的影響（計算值的大小））。

作者使用了全連接網絡，使用 tanh 作為激活函數來保持正交基選擇的統一標準，這樣保證了局部卷積的平滑性。

下面介紹如何重新為非規則空間分布賦予權重。動機是考慮離散節點的非規則分布與核函數的連續性沖突。

如下圖所示，原文中介紹右邊中心節點坐落在西南方的鄰居節點有兩個，左邊中心節點有一個。筆者從圖上來看，不是正好相反嗎？左邊的中心節點西南方（左下方）有兩個，右邊是一個，沒看明白。這個本質上還是每個節點周圍拓撲結構不同，不了解為什么需要重新分配權重。文中重新分配權重的依據是綜合了角度與距離，將局部坐標轉化到極坐標系統，可以同時表示距離和角度。

接下來，介紹為何所提到的局部卷積不適用于交通流預測，也就是說明為何不直接照搬交通流上的圖卷積操作到氣象預測。

主要論點是交通流模式與氣象模式在平滑性上存在較大的不同。比如說兩個很接近的區域，由于中間存在重要的交通樞紐出口，交通模式可能存在很大的差異。此外，所提卷積核考慮了方向性，這種機制在交通上沒有太大意義。作者還給出了相應的圖示：

筆者認為上述兩點有些牽強，首先，相鄰的區域的氣象也有可能有不同的表現，受局部地貌影響，受洋流影響等，環境的復雜性要高于交通流的復雜性；此外，交通流預測也會考慮到方向性的問題，比如某些道路是單行道，雙行道，道路的等級之類。

4.4 動態時序建模

講完空間，現在說到了時序建模，在該方面，論文所介紹地簡單些，使用 GRU 來捕獲時間特性。令讀者迷惑的是，直到這個章節，論文才給出整體結構。（當然，我看的這個版本是 arxiv 上，不知道在 AAAI22 最終版是否有修改），整體結構采用 seq2seq 的方法，沒有特別需要關注的地方。

實驗

數據集：采用 WeahterBench（2020 發表的一篇論文），包含了 2048 個傳感器，本文選擇了溫度、云量、濕度和地表風分量 四個因子作為預測目標。使用歷史 12 個時刻預測未來 12 個時刻。

評測指標：MAE, RMSE, MAPE

對比方法：都是時空圖方法，包括 STGCN, MSTGCN, ASTGCN, TGCN, GCGRU, DCRNN, AGCRN。

5.1 總體表現

▲ 總體表現

所提方法表現最好，另外說明了與基于循環網絡的方法對比注意力表現更好，所提方法進一步提升了基于循環網絡的方法。這幾個說明都還沒觸及到本文的創新點，我們接著往下看。

5.2 可視化

▲ 可視化

作者選擇美國從西南到東北的線，一些采樣點作為中心節點。如上圖所示，論文中介紹“從濕度數據中觀察到明顯的方向性：節點從西北和東南影響中心節點最大。”，作者應該對圖中的顏色進行說明個，是否是通過中間區域的扁平范圍表示影響，全靠讀者來揣測。

5.3 CNN還是RNN

這個實驗不太重要，也不是論文的重點，可以往后放一下，不用太靠前。

5.4 水平映射 VS 對數映射

5.5 消融實驗

論文針對卷積核中所用到的角度、距離以及 MLP 做了對比。另外還有網絡層數，鄰居個數，隱藏單元個數的超參實驗。

看了實驗章節，總體感受還是覺得，實驗還是應該集中到所提的卷積核上，通過替換卷積表現出局部條件卷積的優越性；通過對比圓柱正切空間+水平映射 對比 正切空間+對數映射，這些才是論文的核心創新點。

該工作涉及了較多幾何學相關的概念，在讀的過程中，覺得論文在將工作封裝地過于“高大上”，對于簡單的思想，介紹地過于復雜（文中有給出示例）。不過，總體來看，作者對于問題的研究還是比較深，能夠將地球氣象的一些特點與幾何空間的概念聯系在一起。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的AAAI 2022 | 条件局部图卷积网络用以气象预测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。