Transformerにおける適応的な注意スパン

我々は、最適な注意範囲を学習できる新しい自己注意メカニズムを提案します。これにより、Transformerで使用される最大コンテキストサイズを大幅に拡張しながら、メモリ使用量と計算時間を制御することが可能になります。本研究では、文字レベルの言語モデルのタスクにおいて、最大8,000文字のコンテキストを使用することでtext8およびenwiki8での最先端の性能を達成し、提案手法の有効性を示しています。