トランスフォーマーと有向グラフの出会い

トランスフォーマーは当初、テキストのシーケンス・ツー・シーケンスモデルとして提案されましたが、画像、音声、動画、および無向グラフなど多様なモダリティにおいて重要な役割を果たしています。しかし、有向グラフ用のトランスフォーマーは、ソースコードや論理回路などの一般的な領域への適用可能性にもかかわらず、意外にも研究が進んでいないトピックです。本研究では、有向グラフ向けに方向と構造に配慮した位置エンコーディングを2つ提案します。(1) マグネティックラプラシアンの固有ベクトル - 組合せラプラシアンの方向性を考慮した一般化；(2) 方向付きランダムウォークエンコーディング。経験的に示すように、追加の方向性情報はソートネットワークの正しさテストやソースコード理解などの下流タスクで有用です。データフローセンタリックなグラフ構築と共に、我々のモデルはOpen Graph Benchmark Code2において従来の最先端技術に対して相対的に14.7%向上しました。