PALT : Transfert à faible paramétrage des modèles linguistiques pour la complétion des graphes de connaissances

Cet article présente une approche de transfert d’apprentissage à faible nombre de paramètres basée sur des modèles linguistiques préentraînés (LM) pour la complétion de graphes de connaissances (KG). Contrairement au fine-tuning, qui modifie tous les paramètres du modèle linguistique, nous ne mettons à jour qu’un petit nombre de nouveaux paramètres tout en maintenant les paramètres originaux du LM fixes. Cette approche repose sur une reformulation de la tâche de complétion de KG en une tâche de « compléter les blancs », accompagnée de l’introduction d’un encodeur à faible nombre de paramètres au-dessus des modèles linguistiques d’origine. Nous démontrons qu’en ajustant un nombre bien plus réduit de paramètres qu’avec le fine-tuning, les modèles linguistiques peuvent être transférés de manière non triviale sur la plupart des tâches, atteignant une performance compétitive par rapport aux approches les plus avancées précédemment publiées. Par exemple, nous surpassons les méthodes basées sur le fine-tuning complet sur une benchmark de complétion de graphes de connaissances en ajustant uniquement 1 % des paramètres. Le code et les jeux de données sont disponibles à l’adresse suivante : \url{https://github.com/yuanyehome/PALT}.