L'efficacité déraisonnable de la méthode de référence : discussion sur les SVM dans la classification de textes juridiques

Nous visons à mettre en lumière une tendance intéressante afin de contribuer au débat en cours sur les avancées du traitement automatique du langage juridique. Récemment, la majorité des tâches de classification de textes juridiques s'est tournée vers des modèles profonds pré-entraînés de grande taille, tels que BERT. Dans cet article, nous montrons qu'une approche plus traditionnelle fondée sur des classificateurs à machines à vecteurs de support (SVM) atteint des performances étonnamment compétitives par rapport aux modèles basés sur BERT sur les tâches de classification du benchmark LexGLUE. Nous soulignons également que la réduction d'erreurs obtenue en utilisant des modèles BERT spécialisés par rapport aux modèles de base est nettement moindre dans le domaine juridique, comparée aux tâches sur langage général. Nous présentons et discutons trois hypothèses en tant qu'explications potentielles de ces résultats, afin de soutenir les débats futurs.