Aligner, Masquer et Sélectionner : Une Méthode Simple pour Intégrer les Connaissances de Bon Sens dans les Modèles de Représentation Linguistique

Les modèles de représentation linguistique pré-entraînés les plus avancés, tels que les Représentations bidirectionnelles d'encodeur à partir de Transformers (BERT), intègrent rarement des connaissances de bon sens ou d'autres types de connaissances de manière explicite. Nous proposons une approche de pré-entraînement pour incorporer des connaissances de bon sens dans les modèles de représentation linguistique. Nous construisons un ensemble de données pour la réponse à des questions à choix multiples liées au bon sens, destiné à la pré-entraîne d'un modèle de représentation linguistique neuronal. Cet ensemble de données est créé automatiquement par notre méthode proposée « aligner, masquer et sélectionner » (AMS). Nous examinons également différentes tâches de pré-entraînement. Les résultats expérimentaux montrent que les modèles pré-entraînés en utilisant l'approche proposée, suivis d'un ajustement fin, réalisent des améliorations significatives par rapport aux modèles précédemment considérés comme les plus avancés sur deux benchmarks liés au bon sens, notamment CommonsenseQA et le Défi du schéma Winograd. Nous constatons également que les modèles ajustés finement après l'approche de pré-entraînement proposée maintiennent des performances comparables sur d'autres tâches en traitement du langage naturel (NLP), telles que la classification de phrases et les tâches d'inférence linguistique, par rapport aux modèles BERT originaux. Ces résultats confirment que l'approche proposée, bien qu'elle améliore considérablement les tâches NLP liées au bon sens, ne dégrade pas les capacités générales de représentation linguistique.