0 abstract

????????由于交通數(shù)據(jù)極強(qiáng)的非線性和復(fù)雜性，傳統(tǒng)方法很難進(jìn)行中長期的交通預(yù)測。

????????我們提出了STGCN結(jié)構(gòu)來解決交通領(lǐng)域的預(yù)測問題。我們的模型建立在卷積之上，有更快的訓(xùn)練速度和更少的參數(shù)。

1 introduction

????????交通預(yù)測問題，根據(jù)預(yù)測時(shí)間片的長度，可以分為：短期（5~30分鐘）和長期（30分鐘以上）。大部分統(tǒng)計(jì)方法在短期預(yù)測上效果很好，但是因?yàn)榻煌鲾?shù)據(jù)的不確定性和復(fù)雜性，這些模型在長期預(yù)測上效果很一般。

? ? ? ? 早期關(guān)于中長期交通預(yù)測的研究主要集中在動(dòng)態(tài)建模和數(shù)據(jù)驅(qū)動(dòng)的方法上。

? ? ? ? 數(shù)據(jù)建模：

? ? ? ? 使用數(shù)學(xué)工具（比如微分方程）和物理知識來模擬交通場景，解決交通問題

? ? ? ? 但這需要復(fù)雜的系統(tǒng)化的編程，還需要大量的算力。

? ? ? ? 同時(shí)，不切實(shí)際的假設(shè)和簡化很有可能會使得預(yù)測的精準(zhǔn)度不足

? ? ? ? 因此，隨著交通數(shù)據(jù)收集和存儲技術(shù)的進(jìn)步，越來越多的研究側(cè)重于數(shù)據(jù)驅(qū)動(dòng)

? ? ? ? ?數(shù)據(jù)驅(qū)動(dòng)：

? ? ? ? 又分為傳統(tǒng)統(tǒng)計(jì)學(xué)方法和機(jī)器學(xué)習(xí)方法

? ? ? ? 在時(shí)間序列分析問題里面，ARIMA和它的變體是很經(jīng)典的一類方法。但是這種模型受限于對于時(shí)間序列平穩(wěn)性的假設(shè)，同時(shí)它沒有把時(shí)空相關(guān)性納入考慮范圍。因此，這種方法沒法解決高度非線性的交通流量預(yù)測問題。

? ? ? ? 機(jī)器學(xué)習(xí)方法有KNN,SVM,NN等

? ? ? ? 深度學(xué)習(xí)方法

? ? ? ? 深度信念網(wǎng)絡(luò)DBN、迭代自動(dòng)編碼器SAE都曾用作交通預(yù)測，但是，這些模型都無法同時(shí)提取交通數(shù)據(jù)的時(shí)間和空間特征。

? ? ? ? 之后出現(xiàn)了CNN+RNN的模型來同時(shí)考慮時(shí)間和空間特征，但是這些模型只能處理網(wǎng)格化交通路網(wǎng)（現(xiàn)實(shí)生活中網(wǎng)格狀路網(wǎng)是很少，甚至沒有的），同時(shí)RNN還有誤差累積以及訓(xùn)練較慢、較難計(jì)算的問題。

? ? ? ? 為了解決這一問題，本文提出了使用ＧＮＮ代替ＣＮＮ，使用卷積代替ＲＮＮ的想法來建立一個(gè)完全由卷積組成的神經(jīng)網(wǎng)絡(luò)。

２　Preliminary

?2.1 圖上的交通預(yù)測

? ? ? ? 根據(jù)之前的M個(gè)時(shí)刻的交通觀測數(shù)據(jù)，預(yù)測之后H個(gè)時(shí)刻的交通數(shù)據(jù)：

其中?表示t時(shí)刻，n個(gè)交通觀測點(diǎn)的觀測結(jié)果

?

我們記交通網(wǎng)絡(luò)圖為：?

其中，Y表示時(shí)刻t的節(jié)點(diǎn)集合，ε是邊集合，W代表加權(quán)的鄰接矩陣

2.2 譜圖卷積

譜圖卷積通過圖傅里葉變換將卷積操作變換到譜域內(nèi)進(jìn)行操作。

我們記*g為譜圖卷積算子，Θ為譜圖卷積核，那么我們有：

其中?標(biāo)準(zhǔn)化拉普拉斯矩陣

? ? ? ? In是單位矩陣

?????????是度矩陣，

? ? ? ? ?是L的特征值組成的對角矩陣

?????????傅里葉基是標(biāo)準(zhǔn)化拉普拉斯矩陣L的特征向量組成的矩陣

? ? ? ? 在譜域上的圖卷積核也是一個(gè)對角矩陣?

3 模型結(jié)構(gòu)? ? ? ? ?

STGCN 有多個(gè)時(shí)空卷積塊組成，每一個(gè)是一個(gè)三明治結(jié)構(gòu)，由兩層序列卷積層和一層空間圖卷積層組成

?

3.1 提取空間特征的圖卷積?

3.1.1 切比雪夫多項(xiàng)式近似

我們用關(guān)于的多項(xiàng)式來近似圖卷積核Θ，其中?是L的特征值組成的對角矩陣

?、

其中：K表示距離中心節(jié)點(diǎn)最遠(yuǎn)的卷積范圍

? ? ? ? ? ?（λmax表示拉普拉斯矩陣L最大的特征值?）

?于是，切比雪夫多項(xiàng)式近似的圖卷積可以寫成：

?

其中?表示關(guān)于的k階切比雪夫多項(xiàng)式

?

通過切比雪夫多項(xiàng)式的近似，譜圖卷積的復(fù)雜度可以降低到（ε是邊集合）

3.1.2 一階近似

????????一個(gè)層級的線性方程可以由堆疊多個(gè)使用拉普拉斯矩陣的一階近似的局部圖卷積層來達(dá)到相同的效果（用深度換廣度）。

? ? ? ? 由于在神經(jīng)網(wǎng)絡(luò)中，參數(shù)可以放大縮小，可以歸一化，所以我們可以進(jìn)一步假定

? ? ? ? 因此，我們可以進(jìn)一步將譜圖卷積簡化?（相當(dāng)于上面切比雪夫多項(xiàng)式近似的時(shí)候，K取2，也就是只考慮1階鄰居）：

????????是譜圖卷積核公用的參數(shù)。為了約束參數(shù)并為了穩(wěn)定數(shù)值計(jì)算?，θ0和θ1被一個(gè)參數(shù)θ代替：

????????

? ? ? ? 我們再令

????????

????????

? ? ? ? 那么我們有：

?

????????堆疊K-1個(gè)一階近似的圖卷積可以獲得和平行的K階卷積相同的效果，所有的卷積可以從一個(gè)頂點(diǎn)的K-1階鄰居中獲取到信息。

3.1.3 圖卷積的泛化

? ? ? ? ?在上定義的譜圖卷積算子*g可以延伸到多維度的標(biāo)量中（每一個(gè)觀測點(diǎn)的交通數(shù)據(jù)不再是一維而是多維）

? ? ? ? 對于每個(gè)觀測點(diǎn)有Ci個(gè)維度的交通信號數(shù)據(jù)，泛化的譜圖卷積可以定義為：

?其中，切比雪夫多項(xiàng)式的系數(shù)有個(gè)，（Ci，Co分別表示輸入和輸出的大小）

? ? ? ? 那么對于譜圖卷積來說，?

?

? ? ? ? 回到我們的問題，我們交通數(shù)據(jù)X的輸入有M個(gè)時(shí)間片，交通路網(wǎng)途中一共有n個(gè)點(diǎn)，每個(gè)點(diǎn)有Ci維特征（在我們后續(xù)的數(shù)據(jù)中，Ci=1），即

3.2 提取空間特征的門控CNN、

? ? ? ? ?盡管基于RNN的模型被廣泛應(yīng)用于時(shí)間序列分析任務(wù)中，RNN在交通預(yù)測領(lǐng)域仍然面臨著很多問題（迭代很費(fèi)時(shí)間、復(fù)雜的門控機(jī)制、對于數(shù)據(jù)的動(dòng)態(tài)變化相應(yīng)較慢）

? ? ? ? 相反地，CNN計(jì)算快，結(jié)構(gòu)簡單，可以并行，對于之前的步驟依賴性小。

? ? ? ? 于是我們在時(shí)間軸上應(yīng)用卷積操作來捕捉交通流數(shù)據(jù)的時(shí)間動(dòng)態(tài)特征。

????????如圖所示，時(shí)間卷積網(wǎng)絡(luò)包括了一個(gè)一維的因果卷積網(wǎng)絡(luò)（卷積核大小為Kt）和一個(gè)門控線性單元GLU作為非線性激活函數(shù)。

? ? ? ? 對于圖G中的每一個(gè)點(diǎn)，時(shí)間卷積操作考慮它的Kt個(gè)鄰居的信息。->每層時(shí)間卷積操作可以使得交通時(shí)間序列數(shù)據(jù)縮短Kt-1

? ? ? ? 時(shí)間卷積層每一個(gè)點(diǎn)的輸入可以看成是??（M——時(shí)間片長度，Ci每個(gè)點(diǎn)屬性的維度值）

? ? ? ? 時(shí)間卷積核，用來將輸入Y映射到輸出?上（P，Q是相同通道）

? ? ? ?

????????因此，門控時(shí)間卷積可以寫成

?

? ? ? ? 這里?P和Q是GLU門的兩個(gè)輸入

????????代表對應(yīng)位置元素相乘的哈達(dá)瑪積

????????控制了哪些P是重要的，哪些P目前是不重要的

????????

? ? ? ? 相似地，時(shí)間卷積也可以泛化到三位變量

?3.3 時(shí)空卷積塊

?

每一個(gè)時(shí)空卷積快最后都會過一個(gè)層歸一化，來放置過擬合?

對于塊l來說，它的輸入為

它的輸出為??（每一個(gè)時(shí)間卷積減少Kt-1維）

?整體ST卷積塊的計(jì)算流程為：

?其中是第一個(gè)和第二個(gè)時(shí)間卷積層的卷積核?

?是空間譜圖卷積層的卷積核

?

????????在迭代了兩個(gè)ST卷積塊之后，我們使用了一個(gè)額外的時(shí)間卷積層，以及一個(gè)全連接層，來得到輸出結(jié)果?

? ? ? ? ?然后我們用一個(gè)線性變換獲得每個(gè)點(diǎn)的預(yù)測速度，是權(quán)重向量，b是偏差

? ? ? ? 我們使用L2 loss來衡量我們模型的優(yōu)劣

?

? ? ? ? 這里Wθ是所有模型中可訓(xùn)練的參數(shù)

? ? ? ? v(t+1)是實(shí)際的交通速度?

3.4 STGCN總結(jié)

• STGCN可以用來處理結(jié)構(gòu)化時(shí)間序列，不僅僅在交通領(lǐng)域，更多其它時(shí)空數(shù)據(jù)挖掘領(lǐng)域的數(shù)據(jù)都適用

• STGCN使用時(shí)間和空間上的卷積操作，這可以更好地捕捉時(shí)間和空間上的特征

• 由于模型是由完完全全的卷積結(jié)構(gòu)組成，所以我們可以并行處理他，有更少的參數(shù)，更快的訓(xùn)練速度

4 實(shí)驗(yàn)部分

?

4.1 數(shù)據(jù)預(yù)處理?

????????鄰接矩陣由觀測點(diǎn)之間的距離計(jì)算而得：????????

?

? ? ? ? ε和σ都是控制鄰接矩陣稀疏程度的閾值

? ? ? ? 鄰接矩陣的可視化見上圖（右）

4.2 實(shí)驗(yàn)結(jié)果

STGCN（Cheb）中的Kt設(shè)置為3?

?????????STGCN的預(yù)測表現(xiàn)是很不俗的

????????傳統(tǒng)的統(tǒng)計(jì)和機(jī)器學(xué)習(xí)方法可能在短期預(yù)測中效果不錯(cuò)，但是在中長期預(yù)測中，因?yàn)檎`差累積、缺少空間信息、沒有記憶等問題，效果不理想

? ? ? ? ARIMA效果是最差的，因?yàn)樗荒芴幚韽?fù)雜的時(shí)空數(shù)據(jù)據(jù)

? ? ? ? 深度學(xué)習(xí)方法比機(jī)器學(xué)習(xí)方法效果要好

?

與此同時(shí)，模型的訓(xùn)練時(shí)間是很短的：

?

?

?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的交通预测论文笔记：Spatio-Temporal Graph Convolutional Networks: A Deep Learning Frameworkfor Traffic Forecast的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。