要約
大規模なTransformerモデルは、多数のタスクにおいて最先端の性能を達成するが、特に長いシーケンスに対する学習は費用が非常に高くなる傾向がある。本研究では、Transformerの効率性を向上させるための2つの技術を提案する。まず、内積アテンションを局所性に敏感なハッシュ（Locality-Sensitive Hashing, LSH）を用いたアテンションに置き換えることで、計算量をO($L^2$)からO($L\log L$)に削減する。ここで$L$はシーケンス長を表す。さらに、標準的な残差接続の代わりに可逆残差層（reversible residual layers）を採用することで、学習プロセス中に活性化値を保存する回数を、層数$N$回から1回にまで削減できる。このようにして得られたモデル、Reformerは、従来のTransformerモデルと同等の性能を発揮しつつ、長さの長いシーケンスに対する処理においてははるかにメモリ効率が高く、かつ高速である。