Transformerは現代の自然言語処理（NLP）モデルの基盤となっている。本論文では、リジューダル・アテンション層を有するTransformerネットワークを構築するシンプルかつ汎用的な手法として、RealFormerを提案する。この手法は、マスク言語モデリング、GLUE、SQuAD、ニューラル機械翻訳、WikiHop、HotpotQA、Natural Questions、OpenKPなど、幅広いタスクにおいて、従来のTransformerおよびその変種（BERTなど）を顕著に上回る性能を達成する。また、実証的にRealFormerが学習の安定性を向上させ、よりスパースなアテンションを有するモデルを生成することも確認した。RealFormerのソースコードおよび事前学習済みチェックポイントは、https://github.com/google-research/google-research/tree/master/realformer にて公開されている。