ECONET : Une pré-formation continue efficace des modèles de langage pour le raisonnement temporel des événements

Bien que les modèles linguistiques pré-entraînés (PTLM) aient remporté des succès notables sur de nombreuses tâches de traitement du langage naturel (NLP), ils peinent encore face aux tâches nécessitant un raisonnement temporel sur les événements, une capacité essentielle pour les applications centrées sur les événements. Nous proposons une approche d’entraînement continu qui doté les PTLM d’un savoir ciblé concernant les relations temporelles entre événements. Nous avons conçu des objectifs d’apprentissage auto-supervisé visant à reconstruire les indicateurs d’événements et temporels masqués, ainsi qu’à distinguer des phrases de leurs versions corrompues (où les indicateurs d’événements ou temporels ont été remplacés). En pré-entraînant ultérieurement un PTLM avec ces objectifs de manière conjointe, nous renforçons son attention portée aux informations événementielles et temporelles, améliorant ainsi sa capacité au raisonnement temporel sur les événements. Ce cadre d’entraînement continu efficace pour le raisonnement temporel sur les événements (ECONET) améliore les performances d’ajustement fin (fine-tuning) des PTLM sur cinq tâches d’extraction de relations et de réponse à des questions, atteignant de nouveaux résultats ou des performances équivalentes aux meilleures méthodes existantes dans la plupart de nos tâches descendantes.