継続的なトランスフォーマー：オンライン推論のための冗長性のない注意メカニズム

一般的トランスフォーマーは、全体のトークンシーケンスに対して一括で処理を行うことが基本的な制約であり、一度に一つのトークンだけを処理することはできません。したがって、時系列データでのオンライン推論において、連続するトークンシーケンスの重複により相当な冗長性が発生します。本研究では、スケーリド・ドット積注意機構（Scaled Dot-Product Attention）の新しい定式化を提案し、トランスフォーマーが継続的な入力ストリーム上で効率的にオンラインでトークンごとの推論を行えるようにします。重要な点は、私たちの変更が計算の順序にのみ及ぶものであり、出力と学習された重みは元のトランスフォーマー・エンコーダーと同一であるということです。我々はTHUMOS14、TVSeriesおよびGTZANデータセットを用いた実験によって持続型トランスフォーマー・エンコーダーを検証し、著しい結果を得ました：我々の持続型1ブロックおよび2ブロックアーキテクチャは予測性能を維持しつつ、それぞれ最大63倍および2.6倍の浮動小数点演算量を削減しました。