要約
ディープラーニングの最近の進展により、Transformerアーキテクチャは主要なモデリング枠組みとして定着している。Transformerの成功の鍵をなすのは、クエリ行列とキー行列間の類似度を評価し、値行列を調整する自己注意（self-attention）機構である。この演算は、二項グラフ畳み込み（digraph convolution）と顕著な類似性を示しており、自己注意機構の代替として二項グラフ畳み込みが有効かどうかを検証する機会を提供している。本研究では、二項グラフフーリエ変換に基づく合成ユニタリ二項グラフ畳み込みを導入することで、この概念を形式化した。得られたモデルは、Transformerを有向グラフニューラルネットワーク（DGNN）形式に変換するものであり、我々はこれを「Converter」と命名した。Converterは、Long-Range Arenaベンチマーク、長文ドキュメント分類、DNA配列に基づく分類体系分類の3つのタスクにおいて評価された。実験結果から、Converterは計算効率とアーキテクチャの単純さを維持しつつ、優れた性能を達成することが明らかになった。これにより、軽量でありながら強力なTransformerの亜種として、Converterの有効性が確立された。