筆記整理 |?方尹，浙江大學在讀博士，研究方向：圖表示學習

---

論文地址：https://arxiv.org/pdf/2106.04509.pdf

動機

目前基于圖的對比學習有以下幾個問題：

不同領域的圖，（比如social network和分子圖）它們的圖結構信息和圖的semantics是不同的，因此很難設計一個通用的、適用于所有場景的數據增強方法；大多數方法只關心局部結構而忽略了全局結構，比如結構相似的兩個圖在embedding space也會更接近；對比的scheme不是單一的，對比可以發生在節點-圖，節點-節點，圖-圖之間。

?

對比學習本身也有一些待解決的問題，之前很多對比學習方法是通過最大化一對graph augmentation之間的互信息來實現的：在高維情況下正確估計互信息很困難；最大化互信息和對比學習之間的聯系尚不明確。

貢獻

提出了一種基于局部領域知識的分子圖augmentation方法；

提出了一種全局的對比損失，并將局部對比損失和全局對比損失線性組合作為總體損失。

模型與算法

局部水平：在graph augmentation中注入了領域知識

1.圖上半部分為傳統的圖增強方法：丟掉節點、移動邊、提取子圖、mask屬性，下半部分為提出的增強方法。把重要的子結構替換掉，但仍保持相似的性質。這里是替換了官能團，加上或去除普通的C原子，不影響替換前后分子圖的性質。這一步引入了領域知識。

2.局部對比最大化兩個augmented views的互信息。

3.每個樣本的對比學習損失，其中s是衡量兩個embedding相似度的函數。

全局水平：考慮了整體的graph semantic

1.定義了兩個分子圖之間的相似性，再最大化兩個相似圖之間的互信息。定義分子圖相似性這一步用到了領域知識，因為分子的相似性就是分子指紋的谷本系數。

2.兩種計算全局損失的方法：

Connection to Metric Learning

MoCL的損失是局部損失和全局損失的加和。引理設定了一些前提，比如分子相似度函數、參數，最終損失可以表示為三個triplet loss之和。因此，MoCL的優化目標是拉近正樣本對，同時從局部和全局角度推開負樣本對。

實驗與結果

Q1:注入局部領域知識的對比學習是否學到了比普通augmentation方法更好的圖表示？不同的圖增強組合表現如何？

每個cell表示從頭訓練的GNN與用不同的augmentation組合方法訓練的模型在linear protocol下的performance有多少進步。藍色代表負值，紅色代表正值。MoCL-DK得到的表示加上線性分類器產生的預測準確率與GNN效果（bace、bbbp、sider）相當，甚至比它更好（clintox , mutag）?？梢钥吹桨琈oCL-DK 的行和列的值通常更高 ，因此MoCL-DK 與其他augmentation方法相結合幾乎總是能產生更好的結果。屬性屏蔽和 MoCL-DK 通常在所有場景中都有效，將它們結合起來通常會有更好的性能。這驗證了我們之前的假設，即 MoCL-DK 和屬性屏蔽不違反生物學假設，因此比其他增強效果更好。

分別在linear protocol和semi-supervised protocol下進行了實驗。跟其他用到data augmentation和對比學習的方法做了比較，在大部分數據集上超過了sota。

比較了不同augmentation強度情況下的效果，強度指的是增強幾次，比如替換后再替換一次，就是增強兩次。對于大多數數據集，隨著增強次數越多，性能先上升后下降。 MoCL-DK3 通常能取得更好的結果。

Q2:注入全局領域知識是否進一步提升了圖表示？計算全局損失的兩個策略表現分別如何？

LS是第一種策略，CL是第二種策略。加上了全局領域知識進一步提升了模型的性能。

加入全局領域知識后不同augmentation方法的性能提升 ?？梢钥吹饺中畔⒌囊霑嵘蟹椒?。

比較了兩種protocol下，采用不同的策略的全局損失函數所獲得的性能。可以看到，全局相似性的對比損失（CL）比最小二乘損失（LS）的策略獲得了更好的結果。

Q3:超參數如何影響模型的性能？

相對較小的neighbor size和相對較大的全局損失占比會獲得最佳結果。

歡迎有興趣的同學閱讀原文。

---

?

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數據的開放、互聯及眾包，并促進知識圖譜算法、工具及平臺的開源開放。

點擊閱讀原文，進入 OpenKG 網站。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的论文浅尝 | 融合多层次领域知识的分子图对比学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。