要約
最近、自己監督表現学習の新しい有力な手法として Joint-Embedding Predictive Architectures (JEPAs) が登場しています。この手法は、コンテキスト信号 x の潜在表現から目標信号 y の潜在表現を予測することにより、エネルギーに基づくモデルを学習することを目指しています。JEPAs は、従来のコントラスティブ学習で必要とされていた正例と負例のサンプルを回避し、生成事前学習に関連する過学習問題も避けることができます。本論文では、このパラダイムを使用してグラフレベルの表現を効果的にモデル化できることを示すために、Graph Joint-Embedding Predictive Architecture (Graph-JEPA) を提案します。特に、マスクモデリングを用いて、コンテキスト部分グラフの潜在表現からマスクされた部分グラフの潜在表現を予測することに焦点を当てています。グラフレベルの概念にしばしば存在する暗黙の階層構造を持たせるために、エンコードされた部分グラフの座標を2次元平面上の単位双曲線上に予測するという代替的な予測目的を考案しました。複数の実験評価を通じて、Graph-JEPA が意味的かつ表現力豊かな表現を学習できることを示しており、下流タスクにおけるグラフ分類、回帰、非同型グラフの区別などの性能によってその有効性が確認されています。コードは https://github.com/geriskenderi/graph-jepa で公開されています。