要約
最近、グラフ上の学習に向けたトランスフォーマーに基づくアーキテクチャの開発が活発になっています。これは、注意機構が効果的な学習メカニズムであるという認識と、メッセージ伝達スキーム特有の手作りの演算子を置き換えるという願望によって主に動機付けられています。しかし、その経験的な効果性、スケーラビリティ、および前処理ステップの複雑さに関する懸念が提起されており、特にこれらと比較して性能が同等であることが多い単純なグラフニューラルネットワークとの関連で指摘されています。これらの欠点に対処するため、我々はグラフをエッジの集合として捉え、エンコーダと注意プーリング機構から構成される完全に注意機構に基づいたアプローチを提案します。エンコーダはマスク付き自己注意モジュールと通常の自己注意モジュールを縦方向に交互に配置し、エッジの効果的な表現を学習するとともに、入力グラフにおける可能な仕様ミスマッチにも対応します。このアプローチは単純さにもかかわらず、70以上のノードレベルおよびグラフレベルタスク（特に長距離ベンチマークを含む）において微調整されたメッセージ伝達ベースラインや最近提案されたトランスフォーマーに基づく手法よりも優れた性能を示しています。さらに、分子からビジョングラフまで異なるタスクにおいて最先端の性能を示しており、異質性のあるノード分類でも同様です。また、転移学習設定においてもグラフニューラルネットワークやトランスフォーマーを上回り、同程度の性能または表現力を有する代替手法よりも大幅にスケールアップすることが可能です。