AGB-DE : Un Corpus pour l'Évaluation Juridique Automatisée des Clauses dans les Contrats de Consommation Allemands

Les tâches et les ensembles de données juridiques sont souvent utilisés comme des références pour évaluer les capacités des modèles de langage. Cependant, les ensembles de données annotés disponibles librement sont rares. Dans cet article, nous présentons AGB-DE, un corpus composé de 3 764 clauses provenant de contrats de consommation allemands qui ont été annotées et évaluées sur le plan juridique par des experts du droit. Avec ces données, nous proposons une première ligne de base pour la tâche de détection des clauses potentiellement nulles, en comparant les performances d'une ligne de base SVM avec celles de trois modèles de langage ouverts finement ajustés et celles du GPT-3.5. Nos résultats montrent la nature ardue de cette tâche, aucune approche n'ayant dépassé un score F1 de 0,54. Bien que les modèles finement ajustés aient souvent obtenu de meilleurs résultats en termes de précision, le GPT-3.5 a surpassé les autres approches en termes de rappel (recall). Une analyse des erreurs suggère que l'un des principaux défis pourrait être l'interprétation correcte des clauses complexes plutôt que la délimitation des décisions concernant ce qui est permis et ce qui ne l'est pas.