LongT5：長文シーケンス向け効率的なテキストtoテキストTransformer

最近の研究では、Transformerに基づくニューラルモデルの性能向上には、(1) 入力長の延長、または (2) モデルサイズの拡大のいずれかが有効であることが示されている。本論文では、入力長とモデルサイズの両方を同時に拡張する効果を調査するために、新たなモデルであるLongT5を提案する。具体的には、長入力Transformer（ETC）のアテンション機構のアイデアを統合し、要約事前学習（PEGASUS）の事前学習戦略をスケーラブルなT5アーキテクチャに採用した。その結果、ETCの局所的／グローバルアテンション機構を模倣するが、追加の側面入力（side-inputs）を必要としない新しいアテンション機構「Transient Global（TGlobal）」を構築した。本モデルは、複数の要約タスクにおいて最先端の性能を達成し、質問応答タスクにおいても元のT5モデルを上回る結果を示した。