グローバル自己注意機構をグラフ畳み込みの代替として使用する

私たちは、トランスフォーマー神経망アーキテクチャを一般目的のグラフ学習に拡張するために、ペアワイズ構造情報を専門的に処理するパスウェイ（エッジチャネル）を追加することを提案します。この結果得られるフレームワーク - エッジ強化グラフトランスフォーマー（Edge-augmented Graph Transformer: EGT）と呼ぶ - は任意の形式の構造情報を直接受け入れ、処理し、出力することができます。これは、グラフ構造データでの効果的な学習において重要な役割を果たします。当モデルは静的な局所的な畳み込み集約ではなく、グローバルな自己注意機構のみを使用して集約を行います。これによりノード間で制約のない長距離動的相互作用が可能になります。さらに、エッジチャネルは層ごとに構造情報が進化することを許可し、これらのチャネルの出力埋め込みから直接エッジ/リンクに関する予測タスクを行うことができます。我々はEGTの性能をベンチマークデータセットにおける広範なグラフ学習実験で検証しました。その結果、EGTは畳み込み/メッセージ伝達型グラフニューラルネットワークを上回ることが確認されました。特に、380万個の分子グラフを含むOGB-LSC PCQM4Mv2データセット上の量子化学回帰タスクにおいて、EGTは新たな最先端の成果を達成しています。本研究の知見は、グローバルな自己注意に基づく集約が一般目的のグラフ学習において柔軟かつ適応性のある効果的な代替手段となり得ることを示しています。したがって、畳み込みによる局所近傍集約は必須の誘導バイアスではないことが示唆されます。