GNN笔记:图卷积
1 graph和卷積
在機器學習筆記:CNN卷積神經網絡_劉文巾的博客-CSDN博客中,我們知道,因為圖像具有“管中窺豹”、“相同模式”、“降采樣”三個特點。所以我們可以用一個很小的卷積核對圖像進行卷積操作。換言之,就是圖像具有局部平移不變性。
那么graph有沒有這種性質呢?沒有
graph結構不規則,所以其不存在平移不變性。每個節點周圍的鄰居數不固定。所以傳統的CNN無法應用于網絡中。換言之,在空域上的圖,是沒法進行卷積操作的。
2.?Graph Convolution
那么,既然無法直接在空域進行卷積,可否將graph映射到頻域后再做卷積操作呢?
在GNN筆記:卷積_劉文巾的博客-CSDN博客?中,我們知道?卷積定理
我們將等號兩邊加以,有:
我們記為f的傅里葉變換結果,在GNN 筆記:圖上的傅里葉變換_劉文巾的博客-CSDN博客?中,我們知道
其中U是graph的拉普拉斯矩陣的特征向量組成的矩陣
而在線性代數中,我們還有一個結論。就是對于兩個列向量u和v,它們的內積等同于將一個的元素放到對角矩陣的對角元上(矩陣其他位置的元素為0),然后這個對角矩陣和另一個列向量坐矩陣乘法。
證明:假設原來兩個向量是?和
它們的內積結果是
我們將u的元素放到對角矩陣的對角元上,那么我們有:
這個矩陣和內積,結果就是
回到我們的圖卷積中,利用上面的結論,我們有
? ? ? ? ? ? ? ? ?
而同樣在GNN 筆記:圖上的傅里葉變換_劉文巾的博客-CSDN博客?中,我們說了圖傅里葉變換的逆變換:
那么逆變換的式子帶入圖卷積的公式中,我們有
?????????????????
那么還有一個問題,為什么上面的圖卷積公式中f就是f,h要寫成,而不是像f一樣的呢?
? ? ? ?這是因為在 GCN 中我們的卷積核(即h相關的內容)是可訓練并且參數共享的,所以在此我們可以直接將??寫成,這個便是深度學習中的可學習參數。
2.1 不足之處
這種譜域圖卷積最大的問題在于
1--計算復雜度:
(1.1) L的特征值分解
(1.2)兩次和U的乘積計算【尤其值得注意的是,即使歸一化拉普拉斯矩陣L很稀疏,特征向量組成的矩陣U還是會有很多非零元素】
2--因為這種譜域圖卷積是和特定的拉普拉斯矩陣相關的。因此它的可遷移性很差。
總結
- 上一篇: 文巾解题 197. 上升的温度
- 下一篇: NLP学习笔记:word2vec