LexGLUE：英語における法的言語理解のためのベンチマークデータセット

法律およびその解釈、法的主張や合意事項は通常、文書として表現されるため、膨大な量の法的テキストが生産される。これらのコレクションが大きくなるにつれて、法的実務の中心的課題である法的テキストの分析はますます複雑化している。自然言語理解（NLU）技術は、こうした取り組みにおいて法的実務者を支援する貴重なツールとなる可能性がある。しかし、その有用性は、現在の最先端モデルが法的分野におけるさまざまなタスクに普遍的に適用可能かどうかに大きく依存する。この未解決の問題に答えるために、本研究では、法的NLUタスクの多様なセットにおいて、標準的な方法でモデルの性能を評価できるよう設計されたデータセットの集合体である「Legal General Language Understanding Evaluation（LexGLUE）」ベンチマークを提案する。また、汎用モデルと法的分野に特化したモデルのいくつかについて評価と分析を行い、後者が複数のタスクにおいて一貫して性能向上を示すことを明らかにした。