HyperAIHyperAI

Command Palette

Search for a command to run...

PALT : Transfert à faible paramétrage des modèles linguistiques pour la complétion des graphes de connaissances

Jianhao Shen Chenguang Wang Ye Yuan Jiawei Han Heng Ji Koushik Sen Ming Zhang Dawn Song

Résumé

Cet article présente une approche de transfert d’apprentissage à faible nombre de paramètres basée sur des modèles linguistiques préentraînés (LM) pour la complétion de graphes de connaissances (KG). Contrairement au fine-tuning, qui modifie tous les paramètres du modèle linguistique, nous ne mettons à jour qu’un petit nombre de nouveaux paramètres tout en maintenant les paramètres originaux du LM fixes. Cette approche repose sur une reformulation de la tâche de complétion de KG en une tâche de « compléter les blancs », accompagnée de l’introduction d’un encodeur à faible nombre de paramètres au-dessus des modèles linguistiques d’origine. Nous démontrons qu’en ajustant un nombre bien plus réduit de paramètres qu’avec le fine-tuning, les modèles linguistiques peuvent être transférés de manière non triviale sur la plupart des tâches, atteignant une performance compétitive par rapport aux approches les plus avancées précédemment publiées. Par exemple, nous surpassons les méthodes basées sur le fine-tuning complet sur une benchmark de complétion de graphes de connaissances en ajustant uniquement 1 % des paramètres. Le code et les jeux de données sont disponibles à l’adresse suivante : \url{https://github.com/yuanyehome/PALT}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp