要約
トランスフォーマーは自然言語処理とビジョンの分野でパフォーマンスを革命的に向上させ、グラフニューラルネットワーク（GNN）との統合への道を開きました。グラフトランスフォーマーの性能向上における主要な課題の一つは、グラフの同型性を区別するための識別能力を強化することです。これは、予測性能を向上させる上で重要な役割を果たします。この課題に対処するために、「トポロジー情報付きグラフトランスフォーマー（TIGT）」という新しいトランスフォーマーを提案します。TIGTは、以下の4つの構成要素から成ります：(1) グラフの非同型普遍被覆に基づく巡回部分グラフを使用した、一意的なグラフ表現を確保するためのトポロジカル位置埋め込み層 (2) トポロジカル特性をエンコーダ層全体に明示的に符号化するための双方向メッセージ伝達層 (3) グローバルアテンションメカニズム (4) チャネルごとのグラフ特徴量を見直し、より良い特徴表現を得るためのグラフ情報層。TIGTは、合成データセットでのグラフ同型クラスの区別において、以前のグラフトランスフォーマーを上回る性能を示しています。さらに、数学的な解析と実証評価により、当モデルが様々なベンチマークデータセットにおいて最先端のグラフトランスフォーマーと競合できる優位性が明らかになっています。