グラフ伝播トランスフォーマーによるグラフ表現学習

本論文では、グラフ表現学習のための新しいトランスフォーマー構造を提案します。当方法の中心的な洞察は、トランスフォーマーブロック内のアテンションモジュールを構築する際に、グラフ内のノードとエッジ間の情報伝播を完全に考慮することです。具体的には、Graph Propagation Attention (GPA) と呼ばれる新しいアテンションメカニズムを提案します。このメカニズムは、ノード間 (node-to-node)、ノードからエッジへ (node-to-edge)、エッジからノードへ (edge-to-node) の3つの方法で情報を明示的に伝播させます。これは、グラフ構造データの学習において重要な役割を果たします。此基础上，我们设计了一种有效的名为 Graph Propagation Transformer (GPTrans) 的トランスフォーマー架构，以进一步帮助学习图形数据。我们在多个基准数据集上的广泛图学习实验中验证了 GPTrans 的性能。这些结果表明，我们的方法在性能上优于许多现有的基于トランスフォーマー的图模型。コードは https://github.com/czczup/GPTrans で公開されます。注：「此基础上」一句在日语中可以更加自然地表达为「此基础上」（この洞察に基づいて）或者「基于这一点」（この点に基づいて）。为了使译文更加流畅，我选择使用「この洞察に基づいて」：本論文では、グラフ表現学習のための新しいトランスフォーマー構造を提案します。当方法の中心的な洞察は、トランスフォーマーブロック内のアテンションモジュールを構築する際に、グラフ内のノードとエッジ間の情報伝播を完全に考慮することです。具体的には、Graph Propagation Attention (GPA) と呼ばれる新しいアテンションメカニズムを提案します。このメカニズムは、ノード間 (node-to-node)、ノードからエッジへ (node-to-edge)、エッジからノードへ (edge-to-node) の3つの方法で情報を明示的に伝播させます。これは、グラフ構造データの学習において重要な役割を果たします。この洞察に基づいて、私たちは Graph Propagation Transformer (GPTrans) という効果的なトランスフォーマー構造を設計しました。これによりさらにグラフデータの学習が助けられます。私たちは複数のベンチマークデータセット上で広範なグラフ学習実験を行い、GPTrans の性能を検証しました。これらの結果は、当方法が多くの既存のトランスフォーマーベースのグラフモデルよりも優れた性能を持つことを示しています。コードは https://github.com/czczup/GPTrans で公開されます。