Il n’y a pas de grand frère ni de petit frère : l’infusion de connaissances dans les modèles linguistiques pour la prédiction de liens et la réponse aux questions

L’intégration des graphes de connaissances avec l’apprentissage profond connaît un essor considérable dans l’amélioration des performances de diverses tâches de traitement du langage naturel (NLP). Dans cet article, nous nous concentrons sur la prédiction de liens enrichie de connaissances et la réponse à des questions à l’aide de modèles linguistiques, T5 et BLOOM, sur trois domaines : l’aviation, le cinéma et le web. Dans ce cadre, nous intégrons des connaissances dans des modèles linguistiques de grande et de petite taille, et étudions leurs performances, observant des résultats comparables. Pour la tâche de prédiction de liens sur le graphe de connaissances aéronautiques, nous obtenons un score de 0,2 hits@1 avec T5-small, T5-base, T5-large et BLOOM. En utilisant des scripts basés sur des modèles (templates), nous avons généré un ensemble de 1 million de paires de questions-faits synthétiques dans le domaine aéronautique à partir de rapports de la National Transportation Safety Board (NTSB). Sur nos paires de questions soigneusement sélectionnées, les trois modèles T5 atteignent un score de 0,7 hits@1. Nous validons nos résultats à l’aide du test t de Student apparié et des scores de kappa de Cohen. Pour la prédiction de liens sur le graphe de connaissances aéronautiques avec T5-small et T5-large, nous obtenons un score de kappa de Cohen de 0,76, indiquant un accord substantiel entre les modèles. Nous en déduisons donc que les petits modèles linguistiques obtiennent des performances similaires à celles des grands modèles lorsqu’ils sont enrichis de connaissances.