ドット積Attentionを用いないTransformer

我々は、自己注意（self-attention）におけるクエリとキーのドット積を排除する効率的なTransformerの変種である「ドット積フリーTransformer（Dot Product Attention Free Transformer, DAFT）」を提案する。本手法の核心的なアイデアは、クエリ、キー、値の各次元に対して分解可能な注目マップ（attention map）を構築することにある。この構成性により、注目テンソルを明示的に計算または保存する必要がなくなる実装が可能となる。DAFT層は、コンテキストサイズおよび特徴量の次元に対して線形のメモリ複雑度を有するため、大規模な入力および大規模なモデルサイズとの両方に対応可能である。さらに、局所性と空間的な重み共有を活用しつつも、グローバルな接続性を維持するDAFT-convというモデル変種も導入した。ImageNet-1Kの分類、およびCIFAR10とEnwik8の2つの自己回帰モデリングタスクにおける実験を通じて、DAFTがすべてのベンチマークで競争力のある性能を示すとともに、優れた効率性も同時に達成することを示した。