SCROLLS：標準化された長文言語系列における比較

自然言語処理（NLP）のベンチマークは、長文が現実世界の自然言語の大部分を占めているにもかかわらず、依然として主に文や段落といった短いテキストに焦点を当てている。本研究では、長文に対する推論を要するタスク群である「SCROLLS」を紹介する。既存の長文データセットを検討した上で、自然に長文であるものを厳選し、入力全体にわたる情報の統合を必要とするタスクを重視した。SCROLLSは、文学、科学、ビジネス、エンタメなど複数の分野をカバーする要約、質問応答、自然言語推論のタスクを含む。Longformer Encoder-Decoderを含む初期ベースラインの結果から、SCROLLSにおけるモデル性能向上の余地は依然として大きくあることが示された。本研究では、すべてのデータセットを統一されたテキストからテキストへのフォーマットで公開し、モデルアーキテクチャや事前学習手法に関する研究を促進するため、ライブリーダーボードを運営している。