Quand le préentraînement est-il utile ? Évaluation de l'apprentissage auto-supervisé en droit sur le jeu de données CaseHOLD

Bien que l’apprentissage auto-supervisé ait connu des progrès rapides dans le traitement du langage naturel, il reste incertain pour les chercheurs à quel moment entreprendre un préentraînement spécialisé dans un domaine particulier (préentraînement domaine), qui est coûteux en ressources. Étonnamment, malgré la perception générale selon laquelle le langage juridique est particulièrement distinct, peu de cas documentés montrent des gains significatifs issus du préentraînement domaine. Nous supposons que ces résultats existants s’expliquent par le fait que les tâches actuelles du traitement du langage juridique sont trop simples et ne répondent pas aux conditions nécessaires pour que le préentraînement domaine soit bénéfique. Pour remédier à cela, nous introduisons tout d’abord CaseHOLD (Case Holdings On Legal Decisions), un nouveau jeu de données composé de plus de 53 000 questions à choix multiples visant à identifier le point décisif (holding) d’un arrêt juridique cité. Cette tâche constitue une épreuve fondamentale pour les avocats et revêt à la fois un intérêt juridique pertinent et une difficulté significative du point de vue du traitement automatique du langage (F1 de 0,4 avec une base BiLSTM). Ensuite, nous évaluons les gains de performance sur CaseHOLD ainsi que sur d’autres jeux de données existants du traitement du langage juridique. Bien que l’architecture Transformer (BERT), préentraînée sur un corpus général (Google Books et Wikipedia), améliore les performances, le préentraînement domaine — utilisant un corpus d’environ 3,5 millions d’arrêts issus de toutes les juridictions aux États-Unis, plus vaste que celui utilisé pour BERT —, avec un vocabulaire juridique personnalisé, permet les gains les plus importants sur CaseHOLD (augmentation de 7,2 % en F1, soit une amélioration de 12 % par rapport à BERT), ainsi que des gains cohérents sur deux autres tâches juridiques. Enfin, nous démontrons que le préentraînement domaine peut être justifié lorsque la tâche présente une similarité suffisante avec le corpus de préentraînement : l’amélioration des performances observée sur trois tâches juridiques est directement corrélée à la spécificité du domaine de la tâche. Nos résultats éclairent les conditions dans lesquelles les chercheurs devraient engager un préentraînement coûteux en ressources et montrent que les architectures basées sur les Transformers apprennent également des représentations (embeddings) qui reflètent clairement la spécificité du langage juridique.