HyperAIHyperAI

Command Palette

Search for a command to run...

Affinage des réseaux neuronaux graphiques en préservant les motifs génératifs graphiques

Yifei Sun Qi Zhu Yang Yang Chunping Wang Tianyu Fan Jiajun Zhu Lei Chen

Résumé

Récemment, le paradigme de pré-entraînement suivi d’un fine-tuning des réseaux de neurones sur graphes (GNN) a fait l’objet d’études approfondies et est largement appliqué à une variété de tâches d’extraction de connaissances à partir de graphes. Son succès est généralement attribué à la cohérence structurelle entre les jeux de données utilisés pour le pré-entraînement et ceux du domaine cible (downstream), hypothèse qui ne tient pas dans de nombreux scénarios réels. Les travaux existants ont montré que la divergence structurelle entre les graphes utilisés pour le pré-entraînement et ceux du domaine cible limite significativement la transférabilité lorsqu’on applique une stratégie de fine-tuning classique. Cette divergence entraîne un surapprentissage du modèle sur les graphes du pré-entraînement et complique la capture des propriétés structurelles propres aux graphes du domaine cible. Dans cet article, nous identifions la cause fondamentale de cette divergence structurelle comme étant la disparité des motifs de génération entre les graphes du pré-entraînement et ceux du domaine cible. En outre, nous proposons G-Tuning, une méthode visant à préserver les motifs de génération propres aux graphes du domaine cible. Étant donné un graphe cible G, l’idée centrale consiste à ajuster le GNN pré-entraîné de manière à ce qu’il puisse reconstruire les motifs de génération de G, modélisés par une graphon W. Toutefois, la reconstruction exacte d’une graphon est connue pour être extrêmement coûteuse en termes computationnels. Pour surmonter ce défi, nous fournissons une analyse théorique établissant l’existence d’un ensemble de graphons alternatifs, appelés bases de graphons, pour toute graphon donnée. En exploitant une combinaison linéaire de ces bases, il devient possible d’approximer efficacement W. Ce résultat théorique constitue la fondation de notre modèle proposé, car il permet un apprentissage efficace des bases de graphons ainsi que de leurs coefficients associés. Par rapport aux algorithmes existants, G-Tuning montre une amélioration moyenne de 0,5 % et de 2,6 % respectivement dans les expériences de transfert intra-domaine et d’extrapolation hors-domaine.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Affinage des réseaux neuronaux graphiques en préservant les motifs génératifs graphiques | Articles | HyperAI