要約
自然言語処理（NLP）技術の著しい進歩は、GLUEやSuperGLUEなどの多タスクベンチマークの開発によって推進されてきました。これらのベンチマークは1つまたは2つの入力文に焦点を当てていますが、より長い入力を効率的に処理するための技術設計に関する興味深い研究が行われています。本論文では、MuLDという新しい長文書ベンチマークを紹介します。このベンチマークは1万トークンを超える文書のみで構成されています。既存のNLPタスクを改変することで、モデルがテキスト内の長期依存関係を適切にモデル化できるよう多様なベンチマークを作成しました。既存モデルの性能評価を行い、MuLDベンチマークがそれらの「短文書」バージョンよりも遥かに困難であることが明らかになりました。さらに、通常のトランスフォーマーと効率的なトランスフォーマー双方を評価した結果、コンテキスト長が増加したモデルの方が提示されたタスクを解決する能力が高いことが示されました。これは、類似の長文書問題を解決するために今後のこれらのモデルの改善が重要であることを示唆しています。私たちはデータとベースラインコードを公開し、効率的なNLPモデルに関するさらなる研究を促進することを目指しています。