論文閱讀 CVPR 2021 — SelfSAGCN: Self-Supervised Semantic Alignment for Graph Convolution Network



Original Source Here

Introduction

圖 ( Graphs ) 基本上可以重現實體與彼此之間的關聯性,目前已被廣泛應用在社交網路、知識圖譜和分子結構等面向。

近年更隨著深度學習的發展,將相關技術應用於這類資料結構上,而其中一個發展非常迅速的領域便是 Graph Convolution Networks ( GCNs )。

GCNs 基本上把影像資料常用的 CNN 搬到了圖結構的資料上來用,透過線性變換來聚合鄰近節點的資訊,再透過一些非線性的 Activation function 取得較低維度的特徵資訊。

一般來說,GCNs 可被分成 2 大類:

  1. Spatial convolution:可參考 GLCNDCNNMoNet GAT,這系列研究在空間上匯聚資訊時,有嘗試不同策略。
  2. Spectral convolution:這類做法會對圖的調和矩陣 ( Laplacian matrix ) 進行特徵分解 ( Eigen-decomposition ) ,便可將資訊轉換至 Fourier domain 後,再進行分析。可參考這篇論文

儘管先前研究都取得了不錯的成果,但只要標註資料的數量變少,前述兩種做法都容易出現 Over-fitting 的問題。

這現象背後的原因在於 GCNs 本質上仰賴圖的結構去理解特徵資訊的傳遞,而有限的標註資訊量不足以讓相關特徵傳遞至整個 Graph 。

此外,近期相關研究中,最好的表現通常出現在淺層網路 ( 2-layers ),再往上繼續堆疊也只會讓模型表現下降,這種現象被稱為 Over-smoothing,有興趣可以參考這篇論文。而相關研究認為,這表示堆疊較多層的圖神經網路,視野域非常大,導致節點上的特徵資訊傾向於收斂在特定數值。

綜合前述問題,目前限制著 GCNs 表現的是 Over-fitting & Over-smoothing 這兩個問題,近年雖然有些研究關注在語意資訊的傳遞,像是 DAGNNGCNIIGeom-GCNNon-local GNNs 等研究。但卻少有對於語意資訊和圖結構之關聯性的探討,並有效解決上述 2 大問題。

而在這篇 SelfSAGCN 的論文中,作者們提出了 Self-Supervised Semantic Alignment Graph Convolution Network ,在 GCNs 模型架構下,整合了語意上的抽取與對齊等作法,同時克服前述 2 大問題。

而其背後的核心思想是:

從語意、圖結構上分別得到的節點特徵,應該在類別相同時有著一致性

而 SelfSAGCN 一共包含下列 2 個重要的技巧:

  1. Identity Aggregation:從有標註的節點上,逐層抽取語意資訊,並克服 Over-smoothing 的問題。
  2. Semantic Alignment:基於同類別資訊的中心相似性,使模型從 Labeled data 上學到語意之後,可以把相關特徵轉移到 Unlabeled nodes 上。

前述類別中心的計算,實際上是用 Pseudo-label 之間的相似性進行優化的 ( 個人覺得應該與 SimCLR 的概念有點相似 ),而這個對齊的動作不僅解決前述問題,還可以進一步增強模型在標註資料有限時的表現。

這邊小結一下該論文的 Contribution:

  1. 該論文提出一個簡單又有效的方法:Self-Supervised Semantic Alignment Graph Convolution Network ( SelfSAGCN )。該方法同時整合了 Identity Aggregation 和 Semantic Alignment 2 項技巧,並緩解了 Over-fitting & Over-smoothing problem
  2. 為了在分類任務上能表現更好,該論文探索了 Identity Aggregation 的作法,並嘗試對 Labeled nodes 抽取更具鑑別度的特徵資訊,並透過 Graph aggregation 的操作使 Unlabeled nodes 的特徵可進行語意上的對齊。
  3. 該論文在 5 個 Benchmark 的資料集上驗證了 SelfSAGCN 的成效,實驗結果證明該方法是目前的 SOTA,詳細數據流於後續章節呈現。

AI/ML

Trending AI/ML Article Identified & Digested via Granola by Ramsey Elbasheer; a Machine-Driven RSS Bot

%d bloggers like this: