LexGLUE : Un ensemble de données de référence pour la compréhension du langage juridique en anglais

Les lois et leurs interprétations, les arguments juridiques ainsi que les accords sont généralement exprimés par écrit, donnant lieu à la production de vastes corpus de textes juridiques. L’analyse de ces textes, au cœur de la pratique juridique, devient de plus en plus complexe à mesure que ces collections s’élargissent. Les technologies de compréhension du langage naturel (NLU) peuvent constituer un outil précieux pour accompagner les professionnels du droit dans ces tâches. Leur utilité dépend toutefois largement de la capacité des modèles actuels de pointe à généraliser efficacement à diverses tâches au sein du domaine juridique. Pour répondre à cette question encore ouverte, nous introduisons le benchmark LexGLUE (Legal General Language Understanding Evaluation), une collection de jeux de données permettant d’évaluer de manière standardisée les performances des modèles sur une diversité de tâches de NLU juridique. Nous proposons également une évaluation et une analyse de plusieurs modèles génériques et spécifiquement conçus pour le domaine juridique, démontrant que ces derniers offrent de manière cohérente des améliorations de performance sur plusieurs tâches.